Без своего прокси к моделям команда не видит ни трат, ни запросов — разбор инженера

Инженер опубликовал разбор о том, зачем командам свой прокси для запросов к языковым моделям — промежуточный сервер, через который ходят все обращения приложений к API. Без него, пишет автор, компания не видит ни кто сколько тратит, ни какие промпты уходят наружу, ни почему выросли счета.

Прокси даёт журнал запросов, лимиты на команду, подмену модели без правок в коде и возможность отрезать доступ при утечке ключа. Текст собрал 292 очка на Hacker News; в комментариях спорят, не превращается ли такой прокси в единую точку отказа для всех сервисов сразу.