Движок WASTE гоняет полную Kimi K3 на MacBook с 64 ГБ памяти

Kimi K3 — крупнейшая открытая модель Moonshot на 2,8 трлн параметров, из которых на каждый запрос работают около 104 млрд. Обычно для запуска ей нужна система с двумя терабайтами памяти, поэтому «локально» её почти никто не видел.

Команда SQLite AI написала движок WASTE на 6000 строк C — без CUDA, без библиотек линейной алгебры и без Python во время работы. После конвертации из формата safetensors модель занимает на диске около 1,05 ТБ. В оперативной памяти движок держит только постоянную часть на 27,28 ГБ, а нужных экспертов подтягивает с SSD в момент обращения.

Цена такого фокуса — скорость: диск медленнее памяти на порядки, так что речь про запуск ради проверки и экспериментов, а не про обслуживание пользователей.