Трансформеры и архитектура RWKV-7 хранят порядок слов в разных слоях — замер на Хабре

Автор Хабра обучил двенадцать небольших языковых моделей, которые отличаются только архитектурой, и послойно проверил, что каждая из них хранит. Сравнивались трансформеры и RWKV-7 — архитектура без механизма внимания, где контекст переносится рекуррентным состоянием.
Проверка шла линейными пробами: к каждому слою каждого промежуточного сохранения прикручивался простой классификатор, который пытался вытащить из внутреннего представления порядок слов, грамматику и смысл. На этом масштабе заметнее всего разошлось хранение порядка слов: архитектуры кладут позиционную информацию в разные слои.