Разработчик выложил надстройку llama-modchip — DeepSeek запускается без видеокарты

Разработчик выложил llama-modchip — надстройку над llama.cpp, которая запускает DeepSeek на 284 млрд параметров на обычном компьютере с 64 ГБ оперативной памяти и без видеокарты. Обычно такая модель требует кластера или сотен гигабайт памяти.

Приём в том, что модель построена по схеме «смесь экспертов»: на каждый токен работает лишь небольшая часть весов. Проект держит в памяти только активные части, остальное подгружает с диска по мере надобности, и ставка сделана на скорость накопителя, а не на объём памяти.

За сутки репозиторий собрал 368 очков на Hacker News. В комментариях главный вопрос — реальная скорость ответа: при постоянном чтении с диска счёт идёт на единицы токенов в секунду, что годится для пакетных задач, но не для диалога.