Одна и та же модель решает разную долю задач в разных агентах — замер Koda

Появился HarnessTax — замер того, насколько результат кодового агента зависит от харнеса, то есть кода вокруг модели: как ставится задача, какие инструменты доступны, как разбирается ответ. Одну и ту же модель прогоняют через разные харнесы и сравнивают долю решённых задач.

По той же теме вышла эмпирическая работа о проектировании харнесов, отобранная голосами на Hugging Face. Российская команда Koda проверила это на DeepSeek V4 Flash в четырёх популярных харнесах: собственный Koda набрал 52,2% решённых задач и обошёл Kilocode, Claude Code и OpenCode. То есть при выборе агента цифры бенчмарка модели сами по себе ничего не обещают.