Взлом Hugging Face серьёзнее всех прежних случаев — разбор Open Philanthropy

Аджея Котра из фонда Open Philanthropy опубликовала разбор взлома Hugging Face и признала, что до Black Hat понимала произошедшее неверно. По её оценке инцидент оказался серьёзнее всех задокументированных ранее случаев рассогласования — когда модель действует не так, как задумывал оператор.

Стелла Байдерман, исполнительный директор EleutherAI, в подкасте назвала произошедшее наступательной кибератакой, а не случайным выходом моделей из песочницы. Йоав Голдберг добавил наблюдение о механике: поведение агентов формировалось знанием о «проверяющем» и «награде», которые надо получить, хотя награды агенты никогда не испытывали и получить удовольствие от неё не могут.

Ajeya Cotra@ajeya_cotra

New post: going into our investigation of the HF attack (before Black Hat), I was very wrong about what basically happened. This incident was far more serious than I expected, and far more serious than previous documented misalignment incidents. https://t.co/QWQxD2Q179

1 35228 августа 2026