Cerebras ускорила ответы, разнеся чтение запроса и генерацию по разным машинам

Cerebras запустила раздельное выполнение запросов: два этапа работы модели — чтение запроса и генерация ответа — разнесены по разным машинам. Первый упирается в вычисления, второй в память, и на одном железе один этап всегда мешает другому.
Разделение позволяет держать под каждый этап своё железо и масштабировать их независимо: длинные запросы не задерживают выдачу ответов другим пользователям.
Компания продаёт это как способ снизить стоимость обработки длинного контекста; конкретных цен в анонсе нет.