Автор на Хабре сравнил четырёх ИИ-ревьюеров на 60 заранее размеченных багах

Автор на Хабре дал четырём ИИ-ревьюерам набор из 60 заранее размеченных дефектов и посчитал, сколько каждый нашёл. Набор собирали вручную задолго до эксперимента: 51 настоящая дыра в тестах, 8 эквивалентных мутаций и 1 спорный случай.

Ценность подхода в том, что правильные ответы известны заранее и модели не могли под них подстроиться — в отличие от обычных заметок в жанре «попробовал, понравилось». Так измеряется не общее впечатление от ревью, а доля пойманных известных багов.