Исследователи замерили, как сильные модели решают задачи университетской физики

Вышла статья с замером того, насколько сильные модели справляются с физикой. Авторы проверяли задачи уровня университетского курса и выше, где нужно не вспомнить формулу, а провести вывод.

Публикация собрала 80 очков на Hacker News; в обсуждении спорят, что именно измеряет такой набор задач — понимание физики или узнаваемость типовых выводов из учебников, попавших в обучающие данные.