DeepSeek открыла DeepInfer — движок, на котором сама обслуживает запросы

DeepSeek открыла исходный код DeepInfer — движка, на котором компания сама обслуживает запросы к своим моделям. Раньше наружу выкладывали отдельные куски оптимизаций (FlashMLA, DeepGEMM, DeepEP), теперь — всю сборку целиком, под лицензией Apache-2.0: можно брать в коммерческие продукты без отчислений.

Внутри собственные низкоуровневые вычислительные ядра, параллелизм под архитектуру MoE (модель из многих экспертов, где на запрос работает лишь часть) и асинхронный планировщик: пока видеокарта считает текущую пачку запросов, он готовит следующую. На этом движке работает DeepSeek-V4.1-Flash, веса которой компания открыла на прошлой неделе.

Репозиторий за сутки собрал больше двух тысяч очков на Hacker News — для сравнения, ближайшая ИИ-новость дня набрала втрое меньше. В комментариях обсуждают, насколько код отвязан от собственного железа DeepSeek и получится ли повторить заявленную пропускную способность на обычных кластерах.