Модель иначе рассказывает о себе при смене разметки диалога — статья на arXiv

Авторы статьи на arXiv показали, что формат шаблона диалога меняет то, как языковая модель говорит о себе. Шаблон диалога — разметка, в которую оборачивают реплики пользователя и ответа перед подачей модели.

При одном шаблоне модель отвечает от лица «как языковая модель», при другом — иначе описывает себя и свои возможности. Содержание запроса при этом не меняется, меняется только обёртка.

В обсуждении на Hacker News спорят, значит ли это что-то о внутреннем устройстве модели или это просто следствие того, какие тексты попадали в обучение рядом с каждой разметкой.