Яндекс.Метрика
← Дайджест от 21 ноября 2026

Разработчик сжал модель Inkling 2 Mini до 5,4 ГБ — влезает в ноутбучную видеокарту

Разработчик выложил квантованную сборку Inkling 2 Mini, которая занимает 5,4 ГБ памяти — модель Thinking Machines вышла двумя днями ранее и в исходном виде требовала заметно больше. Квантование — это огрубление чисел внутри модели: вместо 16 бит на вес берут 4 или меньше, качество слегка падает, память экономится в разы.

Репозиторий lookatmyquant показывает разбор по слоям: автор держит чувствительные части в высокой точности, а остальное жмёт агрессивно. При таком размере модель помещается в видеокарту уровня ноутбука.

В обсуждении спорят, как замерять потерю качества: стандартные метрики на коротких задачах просадку почти не показывают, а на длинных рассуждениях разница видна.