Скользящее окно внимания обошло более сложное линейное — сразу две работы

Две команды независимо показали, что скользящее окно внимания со «стоками» работает не хуже линейного внимания, а на длинном контексте лучше. Линейное внимание — способ удешевить обработку длинных текстов, скользящее окно — модель смотрит только на ближайшие N токенов, а «стоки» удерживают несколько первых.

Авторы подчёркивают, что переход на скользящее окно ничего не стоит и работает после дообучения на нескольких моделях и разных прикладных задачах. По их результатам, простое решение обходит сложное именно там, где линейное внимание считалось преимуществом, — в длинном контексте с рассуждением.

Alexia Jolicoeur-Martineau@jm_alexia

Simple beats complicated: We show that switching to a sliding-window attention mask with attention sinks (at no cost) beats linear attention post-training. Huge thanks to my collaborators @RheaSukthanker, @CameronPashmina, and @Emy_Aze. Paper: https://t.co/h8DIc223Su

1 37531 августа 2026