Открытая модель в пяти параллельных запусках сравнялась с крупной закрытой

Разработчик выложил на GitHub харнес GVS5H — код вокруг модели, который формулирует задачу, даёт инструменты и разбирает ответ. На нём он показал: пять параллельных запусков модели Qwen3.8-27B дают тот же результат, что одна Fable 5. Qwen — открытая модель, которую можно скачать и запустить у себя, Fable 5 — закрытая и заметно более крупная.
Схема простая: одну задачу решают пять копий небольшой модели, а харнес сводит ответы. Автор приводит замеры, на которых такой набор догоняет одиночный прогон большой модели.
На Hacker News спорят о честности сравнения: пятикратный прогон съедает и время, и видеопамять, поэтому выигрыш по деньгам зависит от того, на чём считать.
Что говорят
vikramkrHacker News
Итого: пять моделей Qwen 27B примерно сравнялись с Fable 5 на насыщенном кодовом бенчмарке начала 2025 года. Нет сравнения с Astra, Sol 6.1, Fable 5.1, Opus 5.5, нет бенчмарка, отражающего реальную агентную работу — а именно под неё современные модели и оптимизируют. Плюс датасет с задачами с мая 2023 по апрель 2025 — это практически гарантированное загрязнение.
112233Hacker News
Самое интересное там — результат Qwen Flash Next. У плотной модели на 27B больше активных параметров, чем, например, у свежего DeepSeek Flash.