2 источникаX 414NVIDIA: проверка навыков агента почти не предсказывает пользу от них
«Навык» для агента — это подключаемая инструкция или набор приёмов под конкретный тип задач. Проверяют их обычно структурно: есть ли описание, примеры, оформление — и по этому ставят оценку.
NVIDIA сопоставила такие оценки с человеческим суждением о качестве работы и получила связь на уровне 0,14 по Спирмену, то есть почти никакую. Взамен предлагается мерить «прибавку от навыка»: один и тот же прогон задачи с навыком и без него в одинаковых условиях, а оценивается разница в объёме доделанной работы.
Рядом вышла позиционная работа про обвязку — код вокруг модели, который формулирует задачу, даёт инструменты и разбирает ответ. Её вывод: компаниям выгоднее держать одну переиспользуемую обвязку для кодинг-агента, чем собирать под каждую задачу свой граф, потому что на корпоративных задачах выбор обвязки влияет сильнее выбора модели.
