Дешёвая модель зовёт Opus при сомнении: точность та же, цена вчетверо ниже — схема Hightouch

Разработчики сервиса Hightouch опубликовали схему, где дешёвая модель-судья сама решает, когда звать дорогую. Задача — сопоставление записей о людях: понять, что две строки в базе относятся к одному клиенту.

Основную массу случаев разбирает недорогая модель; когда она не уверена, запрос уходит к Opus. По замерам авторов, точность получается на уровне Opus, а расходы — вчетверо ниже, чем если гонять Opus на всём потоке.

В комментариях на Hacker News спорят о главном слабом месте схемы: надёжность держится на том, умеет ли дешёвая модель распознать собственную неуверенность.