Модели не повторили алгоритмическое открытие человека — замер Epoch AI

Epoch AI проверила, способны ли современные модели повторить настоящее алгоритмическое открытие, и выяснила, что почти нет. Исследователи взяли реальное улучшение алгоритма, придуманное человеком, скрыли от моделей само решение и дали ту же задачу с теми же вводными.

Модели справлялись с привычными шагами — переписать код, ускорить известный подход, подогнать параметры, — но нужного нового приёма не находили. Epoch AI делает из этого вывод, что хорошие результаты на программистских бенчмарках пока не переносятся на задачу изобрести способ, которого в обучающих данных не было.