Исследователи выложили SO-Arena — тест для моделей, отвечающих без рассуждения

Исследователи выложили SO-Arena — бенчмарк для моделей «Системы один», то есть тех, что отвечают сразу, без развёрнутого рассуждения. Последний год замеры строились вокруг моделей с рассуждением, и быстрые ответы оказались измерены плохо.
Бенчмарк меряет две вещи: ширину способностей — какой спектр задач модель закрывает без размышления — и надёжность, то есть устойчивость ответа при повторных прогонах одного и того же вопроса. Работа вышла в подборке HuggingFace Daily Papers, отбираемой голосами сообщества.