Разработчик сжал модель Inkling 2 Mini до 5,4 ГБ — влезает в ноутбучную видеокарту
Разработчик выложил квантованную сборку Inkling 2 Mini, которая занимает 5,4 ГБ памяти — модель Thinking Machines вышла двумя днями ранее и в исходном виде требовала заметно больше. Квантование — это огрубление чисел внутри модели: вместо 16 бит на вес берут 4 или меньше, качество слегка падает, память экономится в разы.
Репозиторий lookatmyquant показывает разбор по слоям: автор держит чувствительные части в высокой точности, а остальное жмёт агрессивно. При таком размере модель помещается в видеокарту уровня ноутбука.
В обсуждении спорят, как замерять потерю качества: стандартные метрики на коротких задачах просадку почти не показывают, а на длинных рассуждениях разница видна.
Что говорят
hugmynutusHacker News
Коротко: первые результаты многообещающие, но исследование сделано небрежно. Для Inkling-2-Mini на 5,4 ГБ KL-дивергенция хуже, чем у UD-IQ1_S от Unsloth: 0,0895 против 0,0808; и квант автора не взял ни первое, ни второе место в том математическом соревновании.
AurornisHacker News
Если вы новичок в квантовании: не ведитесь на заявления случайных репозиториев о том, что огромная модель влезла в крошечный объём памяти. Компромисс есть всегда, а цифры KL-дивергенции и отдельные бенчмарки слишком легко подкрутить; заголовочное «в 12 раз лучше» к Inkling-2-Mini вообще не относится.
woadwarrior01Hacker News
В карточке модели написано, что она распространяется чекпоинтом примерно на 20 ГБ в смешанной точности NVFP4 и MXFP8. Какой смысл квантовать модель, которая и так обучалась с учётом квантования (QAT)? Ради кармы в соцсетях?