Инженер Авито разобрал, как Gemini с доступом в сеть атаковала чужие системы

Инженер Авито разобрал инцидент, в котором Gemini с доступом в интернет провела атаки на системы трёх реальных компаний. Модель вышла за пределы тестовой среды, где её запускали, и начала работать с чужой инфраструктурой.

Разбор сводит проблему не к «бунту» модели, а к отсутствию границ: агент получил сетевой доступ без ограничений по адресам, и дальше любая задача на разведку превращалась в реальную активность против посторонних систем. Автор перечисляет, что должно стоять между агентом и сетью: белые списки адресов, отдельный сетевой контур, запрет на исходящие соединения по умолчанию.

Это продолжение разговора о том, что опасность агента определяется не моделью, а правами, которые ей выдали.