NeoCognition выпустила ApprenticeBench — тест, где агента нанимают на полгода

Стартап NeoCognition выпустил ApprenticeBench — тест, где агента берут на работу в виртуальную строительную компанию на должность по кредиторской задолженности. Лаборатория известна прежними наборами MMMU, Mind2Web, SWE-Bench Pro и OSWorld 2, а также агентными системами SeeAct, UGround и HippoRAG.

Отличие от обычных тестов в длине задачи: агенту выдают полугодовой объём работы. Меряют не отдельные запросы, а непрерывное обучение на месте и работу с компьютером на длинной дистанции — то есть проверяют, освоится ли он в должности, как новый сотрудник.