Разбор: экономия на цене токена делает агентную систему дороже

Провайдеры соревнуются в снижении цены за миллион токенов, и команды переходят на облегчённые версии моделей. Разбор на Хабре считает, во что это выходит на уровне задачи, а не токена.

Дешёвая модель чаще ошибается, уходит в повторные прогоны и требует внимания инженера, а стоимость закрытой задачи складывается из всех попыток, кэша и человеко-времени. При таком счёте прайс за миллион токенов почти ничего не говорит об итоговой экономике: дешёвая модель регулярно обходится дороже дорогой.

Схожий вывод в другом разборе того же дня: агентные системы деградируют именно там, где на вычислениях сэкономили.