Возврат к сохранённому состоянию заменяет часть слоёв нейросети — работа Mila

Исследователи из Mila и других лабораторий показали, что рекуррентность по времени — когда модель сохраняет состояние между шагами и возвращается к нему — позволяет заметно сократить число слоёв без потери качества. Работа называется Temporal Recurrence Favors Fewer Layers, авторы формализовали связь между глубиной сети и повторным использованием состояния.

Идея в том, что глубина и повторение частично взаимозаменяемы: то, что обычно делают новыми слоями, можно сделать возвратом к тому же блоку на следующем шаге. Код выложен на GitHub.

Для практики это означает более компактные модели там, где задача разворачивается во времени, — управление, игры, последовательные решения.