Счёт за запросы к модели расходится с прикидкой в разы — разбор на Хабре

Автор Хабра разобрал, почему счёт за работу с языковой моделью отличается от прикидки в разы. Обычный расчёт — цена за миллион входных токенов плюс цена за миллион выходных, умноженные на объём, — не учитывает трёх вещей.

Первая: кэш промпта, когда повторяющаяся часть запроса считается по сниженной ставке, — из-за него счёт бывает и меньше ожидаемого. Вторая: рассуждающие токены, которые модель пишет себе перед ответом и которые тарифицируются как выход, хотя пользователь их не видит. Третья: длинный контекст, за который часть провайдеров берёт по повышенному тарифу после определённого порога.

Автор приводит формулы, по которым считается итог, и показывает, какой вклад даёт каждый из трёх множителей.