Хабр: в чат-поддержке на LLM половина выручки уходит на модель

CEO сервиса LeaderChat Дмитрий Бусов рассказал, как онлайн-чат с живыми операторами переделали в автоматизированную поддержку и продажи на языковых моделях.

Главный вывод получился про экономику, а не про качество ответов: около половины денег компании уходит на оплату вызовов модели. Это меняет устройство продукта — приходится считать стоимость каждого диалога и решать, какие запросы вообще отдавать модели, а какие обрабатывать дешёвыми правилами.

Сам переход, по словам основателя, изменил не столько интерфейс, сколько подход к работе с клиентом.