Яндекс.Метрика
← Дайджест от 16 ноября 2026

Кодовые агенты откатили сделанное меньше чем в половине прогонов — тест UndoBench

Автор Хабра разобрал пять докладов о надёжности ИИ-агентов — от инженеров Microsoft, Anthropic, Meta, Harvey и авторов тестов UndoBench и EvoUndo. Главный вопрос докладов: умеет ли агент откатить то, что сделал.

В UndoBench кодовые агенты восстанавливались после сбоя меньше чем в половине прогонов, которые без сбоя проходили успешно. Повтор действия после потерянного ответа создавал дубликаты в 54% случаев: агент не понимал, что операция уже прошла, и выполнял её второй раз.

То есть провал приходится не на саму задачу, а на возврат в исходное состояние — там, где у человека есть отмена, у агента её может не быть.