Databricks урезала свои расходы на ИИ-программирование до 90% в части сценариев

Внутреннее использование ИИ-агентов для кода в Databricks росло, вместе с ним рос и счёт за токены. Компания опубликовала разбор того, из чего собралась экономия — до 90% в отдельных сценариях при растущем использовании.

Около половины дал перевод настроек по умолчанию на более дешёвые и эффективные модели. Примерно 30% — маршрутизация: простые запросы уходят слабой модели, сложные попадают к сильной. Ещё по десятой части дали показ сотрудникам их собственных трат с гибкими лимитами и чистка разросшегося контекста вместе с настройкой обвязки.

Вывод компании: выигрывает не флагманская модель, а сочетание маршрутизации, обвязки и бюджета. На её внутреннем бенчмарке по соотношению цены и качества рядом стоят GLM 5.2, Opus 4.8 и GPT-5.6 Sol, причём переход с Opus 4.8 на версию 5.0 давал ухудшение по стоимости.