Автор Хабра показал, как ужать модель с 54 до 4 гигабайт — хватит игровой карты

Автор Хабра разобрал однобитное сжатие весов на примере модели Bonsai и сравнил результат с Qwen. Идея в том, чтобы хранить каждый вес одним битом и один общий масштаб на группу из 128 весов.

Арифметика простая: модель на 27 млрд параметров в 16-битном виде занимает около 54 ГБ. Те же параметры в один бит — примерно 4 ГБ без учёта служебных данных. То есть то, что требовало серверной карты, помещается в память обычной игровой.

В разборе показано, чем за это платят по качеству и как такую модель получают дистилляцией — обучением маленькой модели на ответах большой.