Исследователи показали, что «ассистент» в языковой модели — набор разных персон

Аделаида Данилова из Люксембургского университета с соавторами разобрала, из чего складывается «ассистент» внутри языковой модели. Инструмент — разреженные автокодировщики: они раскладывают внутреннее состояние модели на отдельные признаки, которые можно разглядывать по одному.

Работа показывает, что роль ассистента — не единая личность, а набор персон, у которых находятся свои признаки. Статья опубликована на arXiv, разбор автора вышел в блоге и в ленте X; проверок другими группами пока нет.