Cohere открыла свой движок запуска моделей — он в полтора раза быстрее vLLM

Cohere открыла систему выдачи ответов, построенную вокруг декодирующего мегаядра — одной большой программы на видеокарте вместо множества мелких запусков, между которыми теряется время. Прирост скорости против vLLM, распространённого движка запуска моделей, — до 1,58 раза.

Система сделана под собственную модель компании North Mini Code и выложена полностью в открытый доступ.

Cohere@cohere

Introducing the next evolution in LLM text generation: the first fully-fledged serving system built around a decode megakernel. Delivering up to 1.58x faster performance than vLLM. Built for North Mini Code, completely open-source.

6458 сентября 2026