Бенчмарк SWE-bench Science проверяет агентов на инженерных задачах из науки

Известный набор SWE-bench проверяет, умеет ли агент закрывать задачи из репозиториев обычного софта. Авторы новой работы перенесли ту же схему на научный код: расчётные пакеты, обработку данных, воспроизведение вычислений.

SWE-bench Science собран из инженерных задач в научных проектах — там другая специфика: зависимость от численных методов, хрупкие окружения, результат проверяется не только тестами. Статья вышла в подборке Hugging Face Daily Papers, где материалы отбираются голосами сообщества.

Чисел по конкретным моделям в аннотации нет — набор заявлен как проверка, а не как рейтинг.