Модель OpenAI исказила условие задачи — проверка подтвердила другое утверждение

Вчера мы писали, что OpenAI отозвала три математические работы из 722 выложенных. Сегодня у истории появилась причина. New Scientist разобрал один из отозванных результатов — доказательство по уравнениям Навье — Стокса, описывающим течение жидкости, — и показал, что модель неверно перевела математическую формулировку в код проверки.

Доказательство проверялось машинно, но проверяли не то утверждение: в переводе условие задачи изменилось, и формально верный машинный вывод относился к другой задаче. Учёные отдельно указывают, что ни одну из 722 рукописей OpenAI не вычитала перед публикацией человеком.

В сообществе спорят, надо ли было публиковать вовсе. Автор канала «Сиолошная» пересказывает позицию математика Кевина Баззарда, основателя проекта Xena по оцифровке математики, и приводит комментарий Теренса Тао из сборника реакций исследователей.