Инженер объяснил, почему голосовому боту нужен отдельный быстрый классификатор

Инженер описал, зачем голосовому боту на языковой модели по-прежнему нужен отдельный быстрый классификатор — небольшая модель, которая только размечает реплики по типам. Бот на одной большой модели разговаривает естественно, но на реальных звонках спотыкается на механике разговора.

Два типичных сбоя: бот находит свободное время в расписании и так и не доводит до записи клиента, либо перебивает человека, который просто задумался посреди фразы. Оба случая не про понимание речи, а про решения в реальном времени — закончил человек говорить или нет, пора ли переходить к следующему шагу.

Такие решения автор предлагает снимать с большой модели и отдавать классификатору, который отвечает за доли секунды.