Исследователи из Китая выложили ReFlux — метод, который поднимает качество модели

Авторы из нескольких китайских университетов выложили ReFlux — метод, при котором модель второй раз проходит по тем же токенам, но уже со свежими представлениями, вычисленными на первом проходе. Идея продолжает подход Recirculation, о котором писали раньше, и пришла от конкурирующей команды.

Смысл в том, что первый проход даёт контекст целиком, и повторное чтение тех же слов с учётом этого контекста поднимает качество без увеличения числа параметров. Код выложен на GitHub, статья — на arXiv.