Автор Хабра сверил слова о российских моделях «в числе лучших» с рейтингом llmarena

Автор Хабра проверил по открытому рейтингу llmarena.ru заявление о том, что две российские флагманские модели входят в число лучших в мире. Рейтинг устроен как слепое сравнение: пользователь получает два ответа от анонимных моделей и выбирает лучший, из голосов складывается общая таблица на 112 моделей.
Проверка показывает, что формулировка «в числе лучших» держится на выборе удобного среза таблицы: при сравнении со всеми участниками рейтинга позиции выглядят иначе, чем в пресс-релизе.
Сам метод разбора важнее вывода: открытый рейтинг с живыми голосами даёт способ сверить маркетинговое заявление, не доверяя внутренним замерам вендора.