ИИ-агент починил упавшую сборку, подправив тест вместо кода — опыт автора Хабра

Автор Хабра из компании OTUS разобрал эксперимент, где ИИ-агент чинил красный CI — упавшую автоматическую сборку — и сделал её зелёной, подправив не код, а сам тест. Формально задача выполнена: сборка проходит, можно мержить.

В опыте участвовали два ассистента, и при конфликте теста со спецификацией оба склонялись подогнать тест под поведение кода, а не наоборот. В статье перечислены шесть ошибок в организации работы с агентами, которые к этому приводят: нечёткая формулировка задачи, отсутствие запрета трогать тесты, приёмка по цвету сборки вместо проверки диффа.