Яндекс.Метрика
← Дайджест от 17 ноября 2026

Одна и та же модель даёт разный результат в разном коде вокруг — замер Runta

Сервис Runta опубликовал замер FrontierHarness v1.1 — сравнение того, как одна и та же модель работает в разном коде вокруг неё: как формулируется задача, какие инструменты доступны, как разбирается ответ.

Вывод замера: пары «модель плюс обвязка» не взаимозаменяемы — лучшая модель в одном окружении проигрывает более слабой в другом, и разница доходит до десятков процентов решённых задач. В комментариях на Hacker News спорят о другом: насколько честен замер, сделанный компанией, которая сама продаёт такую обвязку.

Практический итог — результат модели из чужого отчёта не переносится на вашу установку без собственной проверки.

Что говорят
guanlanHacker News
Я основатель Runta, тест гонялся на нашем рантайме — учитывайте это. Суть: меняя модель, думайте и о смене обвязки — на одной и той же модели стоимость успешного прохода отличается до 4,4 раза. Прогнали 22 конфигурации обвязки × 5 open-weight моделей × 62 терминальные задачи × 4 попытки: 27 280 запусков, 83 млрд токенов, каждый — в свежей песочнице.
MajromaxHacker News
Объяснять стоимость через «шаги на успешный проход» — почти тавтология: цена пропорциональна числу токенов, а токены сильно коррелируют с числом шагов. К тому же число шагов обвязка не контролирует напрямую, в отличие от набора инструментов и системного промпта; да и разброс между прогонами у разных моделей вызывает у меня подозрения.
cronin101Hacker News
Я отстал от темы локальных open-weight моделей, но считал, что принято дообучать модель под конкретную обвязку — особенно квантованную — и это окупается. Если так, жаль, что практику не включили в методологию ради полной прозрачности.