Тесты для ИИ не измеряют 90% рабочих часов в США — подсчёт компании Mercor

Компания Mercor, которая нанимает экспертов для разметки данных ИИ-лабораториям, сопоставила популярные бенчмарки с реальной структурой занятости в США. Исследователи взяли классификатор рабочих задач и посчитали, сколько оплаченных часов приходится на то, что хоть как-то измеряется тестами для моделей.

Вышло, что около 90% рабочих часов приходится на задачи, которых бенчмарки не покрывают. Тесты сконцентрированы на программировании, математике и ответах на вопросы с проверяемым ответом, а основная масса труда — переговоры, согласования, работа с людьми и физические операции — остаётся без замера.

В обсуждении спорят о методике: часть читателей считает, что «не покрыто бенчмарком» не равно «модель не справится», и что сам классификатор задач описывает работу грубее, чем она устроена.