Запуск Kimi K3 на восьми ускорителях B300 обошёлся в 190 долларов за млн токенов

Kimi K3 — модель на 2,8 трлн параметров с открытыми весами: скачать можно бесплатно, а вот запустить дорого. Автор разбора поднял её на восьми ускорителях B300 через vLLM: модель занимает около 1,56 ТБ, отдаёт примерно 92 токена в секунду и стоит примерно 190 долларов за миллион выходных токенов.

Сжатая до одного бита версия влезает в 594 ГБ и работает на восьми A100, но выдаёт около 9 токенов в секунду, а первый токен ждать от семи до шестидесяти секунд — в пересчёте выходит дороже, около 620 долларов за миллион.

В комментариях замер оспорили: цифры получены на одном потоке, а реальная экономика серверного запуска держится на пакетной обработке многих запросов одновременно. Отдельно усомнились в самой однобитной сборке — такое сжатие заметно съедает знания модели, даже если арифметика и связный текст на месте.