Метод LIMe от «Т-Технологий» срезал вычисления при обучении моделей на 15%

Исследователи «Т-Технологий» представили на конференции EMNLP 2026 метод LIMe, который сокращает вычисления при обучении языковых моделей примерно на 15% без потери качества.

Идея в устройстве трансформера: каждый слой опирается только на скрытое состояние предыдущего, и весь контекст обязан протиснуться через это одно состояние. Из-за этого возникает давление в сторону сжатия информации, и часть её теряется по дороге. LIMe даёт слою доступ к представлениям более ранних слоёв напрямую, так что пропускать всё через узкое горло не нужно.

Конференция EMNLP относится к высшей категории A* — туда отбирают по рецензиям, а не по заявкам.