Яндекс.Метрика
← Дайджест от 20 октября 2026

Модели со снятыми ограничениями тянут на машину чужой код — разбор ProjectDiscovery

Исследователи ProjectDiscovery показали, как через «расцензуренные» модели можно получить доступ к машине пользователя. Расцензуренная модель — это открытая модель, у которой отключили отказы отвечать на опасные запросы; их охотно скачивают с публичных площадок.

Проблема не в самих ответах, а в том, что такие сборки распространяются вместе с кодом запуска и конфигами. Через них в систему попадает то, что пользователь не проверял: загрузчик тянет произвольные файлы, а запуск идёт с правами текущего пользователя.

По сути, снятие ограничений работает приманкой: человек ищет модель без отказов и ставит сборку из непроверенного источника. Разбор собрал больше двухсот очков на Hacker News, в комментариях спорят, где проходит граница между опасной сборкой и обычным риском любых чужих весов.

Что говорят
slopntHacker News
До меня только дошло: в любой модели, открытой или закрытой, любого происхождения уже могут быть зашиты слова-триггеры и невыровненное поведение — намеренно или случайно. Веса непрозрачны, и узнать об этом можно, только случайно наткнувшись на поведение в реальном использовании, — значит, нужны инструменты обнаружения, бенчмарки, прозрачность обучения и интерпретируемость.
superkuhHacker News
Абляция тут вообще ни при чём: любую модель можно дообучить так, чтобы она вас атаковала, если вы даёте ей вызывать инструменты. Но случайному энтузиасту с обратной связью от сообщества я доверяю больше, чем корпорациям, которые совершают преступления без всяких последствий.
sweezyjeezyHacker News
Интересно, как ведёт себя достаточно продвинутая и в остальном «выровненная» модель после срабатывания такого эксплойта. Предупредит ли она пользователя о том, что только что сделала? Способна ли она понять, что её абляцировали?