Инструкция писать тесты первыми ухудшила результат агента — прогон на 90 тысяч долларов

Дэн Лу прогнал ИИ-агента через 25 вариантов инструкций о тестировании и выяснил, что указание писать тесты до кода даёт худший результат. Перевод эксперимента опубликован на Хабре: агенту на GPT-6 Astra поручали реализовать конвертер Pandoc, по 25 прогонов на условие, суммарно около 90 тысяч долларов по розничным ценам API.

Проверяли скрытыми тестами, которых агент не видел. Разработка через тесты дала 40,5% пройденных, дифференциальное тестирование — сверка поведения с эталонной программой — 45,1%, а вообще без указаний о тестах вышло 44,1%.

То есть подробная методичка по тестированию в промпте сработала хуже, чем её отсутствие.