Движки llama.cpp и SGLang научились отвечать выбором из вариантов вместо текста

Решающие модели — те, что вместо текста возвращают выбор из заданных вариантов с вероятностями — за две недели разошлись по основным движкам запуска. Георгий Герганов добавил в llama.cpp эндпоинт /v1/systemone: такие запросы теперь выполняются на своём железе, без облака, с несколькими открытыми моделями.

Команда движка SGLang выпустила эндпоинт /v1/decisions и совместимый с ним формат System One: выбор из нескольких вариантов, оценка по шкале и ответ «да или нет». Perplexity выложила свою модель pplx-decider-v1-27b и заявила в среднем 85,7% по одиннадцати тестам — выше, чем у Jev, с которого в сентябре и начался этот формат.

Исследовательница Hugging Face Мерве Ноян напомнила, что речь во многом о переименовании давно известных моделей классификации без обучения на примерах. Спорят при этом не о новизне, а о том, что типизированный ответ удобнее разбирать программой, чем свободный текст.

Georgi Gerganov@ggerganov

Decision models in llama.cpp are now available The `/v1/systemone` endpoint is available in the latest llama builds. Use it to do Jev-style inference locally, efficiently and privately. Multiple open models are supported with more to come. https://t.co/D3MUi78kXn

1 6682 октября 2026