Инструмент RTK для кодовых агентов не снизил счёт за задачи — проверка Quesma

Исследователи из Quesma проверили заявления о том, что инструмент RTK экономит токены при работе кодовых агентов, и получили обратный результат по деньгам. Сам RTK действительно сокращает число токенов в отчётах, но стоимость выполнения задач в их замерах не упала.

Разрыв объясняется тем, что экономия токенов и экономия денег — разные величины: часть сэкономленного на одном шаге возвращается дополнительными вызовами модели на других.

Команда опубликовала методику замера, чтобы результат можно было воспроизвести.