Inclusion AI показала метод UBTree, который ускоряет ответы больших языковых моделей

Inclusion AI предложила метод UBTree, который ускоряет работу больших языковых моделей. В основе — спекулятивное декодирование: черновик пишет маленькая модель, а большая проверяет сразу несколько предложенных слов одним проходом и принимает их до первой ошибки.

У быстрых методов этого класса — DFlash и DSpark — есть общая слабость: они предлагают весь блок слов разом, поэтому работают быстро, но ошибаются чаще, и доля принятых черновиков падает. UBTree собирает черновики деревом: вместо одной цепочки проверяется несколько вариантов продолжения сразу.

Смысл в том, что большая модель за тот же проход получает больше шансов найти подходящее продолжение, и доля принятых слов растёт без потери скорости черновика.