Исследователи показали, что архитектура может менять наклон законов масштабирования

Авторы статьи «How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents» проверили, может ли архитектура менять сам показатель степени в законах масштабирования — зависимости качества модели от размера и объёма данных.

Обычно считается, что архитектура сдвигает кривую вверх или вниз, но наклон остаётся тем же: чтобы улучшить результат вдвое, нужно одно и то же кратное увеличение ресурсов. Исследователи разбирают модели с повторным проходом через одни и те же слои и показывают, при каких условиях наклон всё же меняется.

Код и обзор выложены отдельно; практический смысл — в том, что выигрыш от повторного прохода зависит от того, как устроены границы между проходами.