Исследователи выложили тест SWE-CoWork: кодовый агент работает как сотрудник

Исследователи опубликовали SWE-CoWork — тест, который проверяет кодовых агентов не на изолированных задачах, а в роли сотрудника внутри организации: с неполным описанием задачи, необходимостью спросить коллегу и зависимостью от чужой работы.
Обычные тесты дают агенту замкнутую задачу с готовой проверкой. Здесь часть сведений намеренно отсутствует, и агент должен либо запросить их, либо провалиться. Авторы показывают, что модели, сильные на классических наборах задач, в такой постановке теряют заметную часть результата.
Работа вышла в подборке Hugging Face Daily Papers, отобранной голосами сообщества.