Moonshot опубликовала техотчёт Kimi K3: 2,8 трлн параметров и своя инфраструктура в комплекте

Moonshot выложила полное описание модели Kimi K3 вместе с самими весами — файлами модели, которые можно скачать и запустить у себя.

Архитектура разреженная: всего 2,8 трлн параметров, на каждый токен работает около 104 млрд. Модель разбита на «экспертов», и на каждый запрос включается лишь малая их часть. Вместе с весами вышли собственные библиотеки для связи между серверами (MoonEP), быстрые вычислительные ядра (FlashKDA) и песочница для обучения агентов (AgentEnv).

Автор разборов архитектур Себастьян Рашка называет K3 промышленным развитием предыдущей Kimi Linear: длинный контекст, работа с картинками с самого начала, отказ от привычного кодирования позиций слов.