Автор Хабра сжал модели RWKV-7: средняя пострадала сильнее меньшей

Автор Хабра изучил квантование семейства RWKV-7 — сжатие готовой модели за счёт снижения точности чисел в весах. Проверялись модели от 0,1 до 13,3 млрд параметров. Режима было два: сжатие примерно в 2,1 раза почти без потерь и в 3,1 раза с четырьмя битами на проекции.

Главный вопрос работы: почему четырёхбитный режим сильнее ломает модель на 2,9 млрд параметров, чем на 1,5 млрд, — то есть большая модель переносит сжатие хуже меньшей. Разбор показывает, что деградация привязана не к размеру как таковому, а к тому, какие именно слои оказываются чувствительны к потере точности.