Asana удешевила браузерного ИИ-агента в 29 раз, починив кэш истории диалога

Asana снизила стоимость работы своего браузерного ИИ-агента в 29 раз, починив кэширование истории диалога. Агент при каждом шаге заново отправлял модели весь предыдущий контекст, и провайдер каждый раз считал эти токены как новые.

После исправления повторяющаяся часть запроса стала попадать в кэш провайдера, где она стоит в разы дешевле. Сама модель и логика агента не менялись — изменился только способ собирать запрос.

Это типичная статья расходов у агентов: счёт растёт не от сложности задачи, а от числа шагов, на каждом из которых переотправляется одно и то же.