Битрикс24 рассказала, как делит видеокарты между чатами, документами и агентами

Битрикс24 рассказала, что пришлось построить вокруг собственной языковой модели на триллион параметров, чтобы она работала в продукте. Сама по себе развёрнутая модель — ещё не сервис.

Основная проблема — дележ одних и тех же мощностей между разными типами нагрузки: короткие чаты, длинные документы и агенты конкурируют за одни видеокарты. Пришлось решать, кто ждёт в очереди, чем занимать ускорители между пиками и как проверять, что очередная оптимизация не ухудшила ответы.

Разбор описывает архитектуру очередей и систему замеров качества после каждой правки.