OpenAI остановила обучение самых мощных моделей на две недели
OpenAI впервые публично затормозила собственную разработку. Компания на две недели остановила дообучение с подкреплением (когда модель учат на её же ответах, награждая за верный результат) для моделей, которые готовились к выпуску, а самый крупный запланированный запуск до сих пор стоит на паузе.
Причина — киберспособности. Предварительные оценки показали, что готовящаяся модель под кодовым именем Astra может дотягивать до уровня Critical по внутренней шкале OpenAI Preparedness Framework — то есть умеет находить и использовать уязвимости на опасном уровне. Дополнительным поводом стал недавний инцидент с взломом, в котором фигурировали OpenAI и Hugging Face.
Вместо большого запуска компания проводит компактные эксперименты, проверяет поведение текущего чекпоинта и ужесточила внутренние правила: изоляция песочниц, сетевые ограничения, расширенный мониторинг цепочек рассуждений. Гендиректор Сэм Альтман и главный научный сотрудник Якуб Пахоцки подтвердили паузу лично; Майлз Брандейдж из числа бывших сотрудников OpenAI призвал разбирать не технические детали инцидентов, а культуру безопасности.