Инструкции работать осторожнее снизили число исправленных агентом багов на 13%

Автор на Хабре прогнал ИИ-агента по 100 реальным багам из набора SWE-bench и проверил, помогают ли ему «правила осторожности» — инструкции не торопиться, проверять себя и не менять лишнего. Три прогона дали обратный результат: число исправленных багов упало примерно на 13%.

Вывод разбора: осторожность выглядит бесплатной настройкой, но тратит шаги агента на перепроверки вместо правок. Похожее наблюдение в соседнем материале того же дня: два ревьюера с разных сторон, Claude и GPT, разбирали уже отревьюенный код сорок раундов. Они нашли шесть ошибок высшего приоритета и около двадцати пяти следующего.