Код вокруг модели меняет не качество ответов, а цену прогона — замер на 21 паре

Работа об устройстве харнеса для кодовых агентов — харнес это код вокруг модели: как ставится задача, какие инструменты доступны, как разбирается ответ — разошлась в ленте с подробностями замера. Авторы прогнали 21 пару «модель плюс харнес»: семь моделей на трёх харнесах.

Главный вывод не про качество, а про деньги: выбор харнеса почти не меняет долю решённых задач, но сильно меняет стоимость прогона. Простая обвязка при этом работает не хуже сложной.

Tanishq Mathew Abraham, Ph.D.@iScienceLuvr

Came across this very interesting post... It analyzes 21 model–harness pairs spanning seven models and three harnesses... They observe three findings: 1. Harness choice has little effect on task success rate, but can significantly affect the cost 2. A simple harness can be https://t.co/g8BeCcAUHm

6319 сентября 2026