Модель регулярно нарушала запреты из промпта — разработчик перенёс их в код

Автор Хабра замерил, как часто модель нарушает жёсткие запреты из системного промпта. У ИИ-консультанта на его сайте было два правила: не называть цены и не упоминать клиентов под NDA — оба записаны капслоком с объяснением причины.

На прогонах правила нарушались регулярно, поэтому автор вынес их из промпта в код: проверка ответа перед отправкой снимает нарушения детерминированно, без надежды на послушание модели.

Вывод разбора: системный промпт — это пожелание, а не контракт, и всё, что нельзя нарушать, должно проверяться вне модели.