Kimi K3 запустили на одном MacBook Pro: 4 токена в минуту

Автор проекта deltafin довёл полную Kimi K3 на 2,8 трлн параметров до работы на MacBook Pro M1 Max с 64 ГБ памяти. Скорость — 4,1 токена в минуту, около 15 секунд на слово. Помогли загрузка только нужных 16 «экспертов» на слой, сжатие постоянно живущей в памяти части модели и отдельные вычислительные ядра под чипы Apple.

Другой энтузиаст запустил ту же модель на мини-ПК без видеокарты — 0,015 токена в секунду. На домашней сборке с 768 ГБ памяти и парой видеокарт RTX 5090 выходит уже около 4 токенов в секунду.