Быстрая модель Jev ошибается на тех же задачах, что и языковые, — черновик статьи

Делип Рао выложил черновик статьи о моделях принятия решений Jev-типа — они не генерируют текст, а выбирают готовый вариант ответа, поэтому работают быстрее и дешевле обычных языковых. Открытый аналог Ollama для их локального запуска, Ollaya, за сутки собрала 340 очков на Hacker News.
Рао показал ограничение подхода: Jev ошибается на тех же задачах, на которых ошибаются быстрые языковые модели того же класса. Из этого следует, что схема «сомнительные ответы Jev передаём большой модели» почти не улучшает результат — ошибки у них общие.
Delip Rao e/σ@deliprao
You already know Jev is fast and cheap. Our new arXiv draft shows, it makes the correlated mistakes as other flash-tier LLMs. The consequence: you don't gain much by cascading Jev's "low confidence" outcomes to an LLM! Explanation in thread. https://t.co/ciEfzKrL1o https://t.co/DRqof89a7t
23125 сентября 2026
Что говорят
datadrivenangelHacker News
А есть ли вообще много моделей, сопоставимых с Jev для универсального принятия решений? Если у вас есть набор для оценки, умнее просто обучить классификатор и на этом успокоиться.
george_maxHacker News
Кто-нибудь реально получал с Laya результаты лучше или хотя бы такие же, как у Jev? По моему опыту, Laya заметно хуже: менее уверенна и часто ошибается на более сложных запросах.
Delip Rao e/σ@deliprao
Вы и так знаете, что Jev быстрая и дешёвая. Наш новый черновик на arXiv показывает, что она ошибается коррелированно с другими LLM flash-уровня. Следствие: каскадировать «неуверенные» ответы Jev в LLM почти бесполезно.
231