Метод Recirculation снимает предел на длину рассуждения модели без дообучения

Исследователи из группы Майкла Мозера показали, как снять у трансформера ограничение на отслеживание состояния, не дообучая модель. Проблема в том, что информация внутри сети движется только вверх, от ранних слоёв к поздним, и глубина сети ставит потолок на то, сколько шагов рассуждения модель удержит.

Решение авторы назвали Recirculation: они используют свойство аддитивности остаточного потока — внутреннего канала, по которому слои складывают свои вклады, — и подмешивают в ранние слои представления, полученные на поздних. Дообучение при этом не нужно вообще, меняется только порядок прохода данных.