Агент, сам выбирающий источник данных, выберет самый уязвимый — показал разработчик

Разработчик Джефф Стернс описал неочевидное свойство агентов, которые сами выбирают, куда идти за данными: при прочих равных агент выберет самый уязвимый вариант. Логика простая: агент оптимизирует удобство, а не безопасность.
Сайт без защиты, API без авторизации, страница с подробной инструкцией для машины отвечают быстрее и проще, чем сервис с проверками. Для агента это выглядит как лучший кандидат, поэтому он туда и пойдёт — и вместе с данными принесёт всё, что на такой странице записано.
В обсуждении на Hacker News спорят, можно ли вообще отличить инструкцию от данных на стороне агента или защиту надо строить списком разрешённых источников.
Что говорят
msdriggHacker News
«Спросите у агента, какой телевизор или роутер взять, и он склонится к тому, что можно изменить» — у меня так не получалось. Сама идея статьи нравится, но заголовок ничем не подкреплён.
Philip-J-FryHacker News
Нет, агент посоветует того производителя, который заплатил OpenAI или Anthropic за рекламу.
micromacrofootHacker News
Даже если сейчас это так, долго не продлится: как только понадобится собирать рекламные деньги, модели испортят так же, как всё в вебе до них. Наслаждайтесь, пока работает.