Кодовые агенты откатили сделанное меньше чем в половине прогонов — тест UndoBench
Автор Хабра разобрал пять докладов о надёжности ИИ-агентов — от инженеров Microsoft, Anthropic, Meta, Harvey и авторов тестов UndoBench и EvoUndo. Главный вопрос докладов: умеет ли агент откатить то, что сделал.
В UndoBench кодовые агенты восстанавливались после сбоя меньше чем в половине прогонов, которые без сбоя проходили успешно. Повтор действия после потерянного ответа создавал дубликаты в 54% случаев: агент не понимал, что операция уже прошла, и выполнял её второй раз.
То есть провал приходится не на саму задачу, а на возврат в исходное состояние — там, где у человека есть отмена, у агента её может не быть.