Строка в начале запроса сбивает кэш провайдера — попадания падают с 98% до 1%

Разбор на Хабре показал, что одна строка в системном запросе может отключить кэш провайдера целиком: доля попаданий падает с 98% до 1% на живых вызовах. Кэш провайдера — это префиксное дерево по токенам, оно работает ровно до первого расхождения с прошлым запросом, дальше всё считается по полной цене.

Разница в деньгах большая: токен из кэша дешевле в 10–31 раз. У DeepSeek миллион токенов из кэша стоит 0,014 доллара против 0,44, у OpenAI — 0,40 против 4,00. Поэтому меняющаяся деталь в начале запроса — дата, идентификатор сессии, случайный порядок инструментов — обнуляет экономию на всём объёме вызовов.