Модель Astra решила 49 из 50 неопубликованных задач по теоретической физике

Физики из нескольких институтов составили бенчмарк из 50 неопубликованных задач по теоретической физике — условия писали сами эксперты, профильный специалист тратит на такую задачу день-два. Смысл неопубликованных задач в том, что ответов нет в обучающих данных моделей.

Модель Astra решила 49 задач из 50; единственную несданную не осилила ни одна другая модель, и авторы признают, что формулировка там была двусмысленной. Opus 5.5 справился с 46 задачами, GLM-5.3 — с 21.