Авторы теста MaxxBench показали, что оценки моделей на задачах по коду завышены

Авторы бенчмарка MaxxBench опубликовали разбор под заголовком «Хороший результат на DeepSWE. Но правда ли?» — о том, как завышаются оценки моделей на задачах по коду. Основная претензия: тестовые задачи попадают в обучающие данные, и модель воспроизводит знакомое решение вместо того, чтобы решать заново.

Авторы предлагают свой набор задач с проверкой на загрязнение и показывают, что при пересборке условий результаты моделей заметно проседают. Разбор собрал больше двухсот очков на Hacker News, где спорят о том, можно ли вообще удержать публичный бенчмарк чистым дольше нескольких месяцев.