Notion собрал оценку моделей на живом рабочем трафике вместо бенчмарков

Notion запустил Knowledge Board — свою таблицу сравнения моделей, построенную не на тестовых наборах, а на живом анонимизированном трафике продукта. Ответы моделей на реальных рабочих запросах оценивает набор моделей-судей, который команда собрала вместе с исследователями Anthropic.

Гендиректор Notion Иван Чжао объясняет затею разрывом: модели показывают одно на бенчмарках и ощущаются иначе в повседневной работе со знаниями, и второе компания хотела измерить напрямую. Доска обновляется по мере трафика, то есть меняется вместе с тем, как люди пользуются продуктом.

Ivan Zhao@ivanhzhao

There’s a gap between how models benchmark and how they FEEL in real-world knowledge work. Our research team wanted to study the latter, so they created the Notion Knowledge Board: live, anonymized traffic scored by an ensemble judge built with researchers at Anthropic and https://t.co/YLDplUabVb

8314 августа 2026