Cloudflare открыла модели Clef, которые отвечают выбором из вариантов, а не текстом

Cloudflare выложила Clef — семейство моделей с открытыми весами, которые вместо текста возвращают решение по заданным вариантам: подходит ли запрос под правило, какой из классов выбрать. Такие модели ставят туда, где раньше крутили большую языковую модель ради одного ответа «да/нет»: модерация, маршрутизация запросов, разметка.
Вместе с весами компания открыла платформу дообучения с подкреплением — то есть можно взять свою задачу, задать функцию награды и получить специализированную модель без собственного конвейера обучения.
В обсуждении на Hacker News спорят о другом: исследовательница Шрея Шанкар напомнила, что вызов такой модели по одной строке за раз через API убивает всю выгоду. На пакетной обработке тысяч строк разница со «скоростью света» на одной видеокарте огромная.