Модель Mercury 2.5 отвечает быстрее, чем человек читает, — замер Artificial Analysis

Модель Mercury 2.5 показала 770 токенов в секунду в замере Artificial Analysis — независимого сервиса, который меряет скорость и цену моделей. Токен — кусок текста примерно в три-четыре символа, то есть речь о нескольких сотнях слов в секунду.

Это заметно выше типичной скорости больших моделей и попадает в тот диапазон, где ответ появляется быстрее, чем человек успевает прочитать предыдущую строку. Для сценариев вроде голосовых помощников и автодополнения кода скорость решает не меньше качества.

В обсуждении на Hacker News спорят, за счёт чего достигнута цифра и как она держится при длинном контексте.