Cloudflare рассказала, как обслуживает Kimi и GLM в своей сети

Cloudflare выпустила разбор того, как запускает у себя открытые модели Kimi и GLM для платформы Workers AI. Задача была в том, чтобы крупные открытые модели ехали на распределённой сети серверов, а не на выделенном кластере под одну модель.

Компания описывает три направления: уменьшение моделей за счёт квантизации — снижения точности чисел в весах, ускорение выдачи токенов и фильтрацию входа-выхода. Отдельно в блоге вышел интерфейс для программного получения счёта за потребление, чтобы стоимость запусков была видна в цифрах, а не в конце месяца.

Подробные замеры компания приводит по своей инфраструктуре, так что переносить их на своё железо напрямую нельзя.