Дешёвая проверка памяти ИИ-агента пропускает ошибки — разбор инженера МТС

Инженер МТС разобрал контроллер доверия к памяти ИИ-агентов — механизм, который решает, можно ли опираться на ранее запомненный факт. Отправная точка разбора — чат-бот MyCity мэрии Нью-Йорка: справочник для малого бизнеса советовал предпринимателям вещи, за которые грозили штрафы и суды.

Проблема в том, что агент хранит в памяти и проверенные факты, и собственные выводы, и то, что ему сказал пользователь, — и при ответе не различает источники. Контроллер приписывает записям уровень доверия и отсекает ненадёжные, но стоит это дёшево и работает неточно: часть неверных записей проходит, часть верных отбрасывается.