Обещанное ускорение моделей в 6,5 раза дало 2,6 — проверка на Хабре

Автор на Хабре воспроизвёл метод EAGLE-3 для ускорения работы моделей на бесплатной видеокарте Kaggle T4 и получил разброс от 2,6 раза до нулевого выигрыша. Речь о спекулятивном декодировании: маленькая черновая модель набрасывает несколько слов вперёд, большая проверяет их за один проход, текст на выходе тот же.

Заявленный потолок метода — ускорение до 6,5 раза. На коде автор получил 2,6 раза, на других задачах прирост исчезал полностью: выигрыш зависит от того, насколько черновая модель угадывает продолжение.