Вышел тест AutoResearchExam — агенту дают сутки на исследовательскую задачу

Алекс Димакис объявил о выходе AutoResearchExam — набора задач, на котором проверяют, справляются ли агенты с открытой исследовательской работой в машинном обучении. Тест покрывает семь областей: обучение моделей, подготовку данных, безопасность ИИ, интерпретируемость и другие.

Формат отличается от обычных бенчмарков: агенту дают 24 часа на задачу, а не отдельный вопрос с проверяемым ответом. Это ближе к тому, как выглядит настоящая работа исследователя, и объясняет, почему такой замер стоит дорого.

Alex Dimakis@AlexGDimakis

We are releasing AutoResearchExam, a benchmark on open-ended machine learning and engineering tasks. Our benchmark covers seven research areas including model training, data curation, AI safety and interpretability. https://t.co/FB1DlVOmF2 In each task, we give agents 24 hours https://t.co/pcle58Lq3Q

3429 сентября 2026