Разработчик снизил стоимость сессии ИИ-агента с 48 до 8 рублей

Автор на Хабре снизил стоимость сессии своего ИИ-агента с 48 до 8 рублей, разобравшись, куда уходят токены. На тридцатом шаге агент отправлял модели почти 124 тысячи входных токенов — это объём небольшого романа за один запрос.

Причина в накоплении: в контекст снова и снова уезжали логи, ранее прочитанные файлы, старые ответы инструментов и описания тех инструментов, которые на этом шаге вообще не нужны. Автор описал, что именно он выбрасывал из контекста на каждом шаге.