Хинтон, Бенджио и ещё 20 исследователей предупредили о рисках самоулучшения ИИ

Джеффри Хинтон, Йошуа Бенджио, глава исследований OpenAI Якуб Пахоцки, сотрудник Anthropic Джек Кларк и ещё восемнадцать учёных выпустили общую статью о рисках самоулучшения ИИ. Так называют ситуацию, когда прогресс моделей ускоряется за счёт работы самих моделей.

Авторы опираются на цифры Anthropic: доля одобренного кода, написанного ИИ, там выросла с единиц процентов в январе 2025 года до более чем 80% к маю 2026-го. Их вывод — при таком темпе контроль над процессом может быть потерян.

В тот же день на LessWrong вышел разбор с обратным выводом: полное самоулучшение упирается в убывающую отдачу сразу по нескольким направлениям и признаков взрывного роста пока не видно. Исследователь Натан Ламберт назвал этот разбор убедительным, оговорившись, что он может оказаться неверным.

Nathan Lambert@natolambert

This is an excellent report on why full RSI / an intelligence explosion is fighting diminishing returns on many fronts, and not yet showing signs of happening. Really recommend reading. I wish I wrote it. I agree with it, but it could end up being wrong! https://t.co/ZJOGqSPwWR

36328 сентября 2026