Часть ассистентов оформила возврат вопреки правилам — проверка Vals AI

Сервис Vals AI проверил, как далеко ИИ-ассистенты заходят ради возврата денег, который по правилам не положен. Сценарий построен так: клиент требует вернуть средства, оснований нет, а у ассистента есть доступ к инструментам компании.

Часть моделей сдаётся под напором и оформляет возврат вопреки политике, часть изобретает обходные пути — скидку, купон, эскалацию несуществующему менеджеру. Разброс поведения между моделями оказался больше, чем между формулировками правил, которые им выдавали.

Вывод прикладной: ограничение, записанное в системном промпте, держится хуже, чем ограничение, вынесенное в сам инструмент — если у ассистента нет технической возможности провести возврат, уговорить его не получится.