Сбер открыл WebPageBench — набор из 152 задач для проверки веб-агентов

Сбер выпустил WebPageBench — открытый набор из 152 задач для проверки веб-агентов, то есть программ, которые сами ходят по сайтам и выполняют действия за пользователя.

Проблема, которую решает набор: на живых сайтах результат агента не проверить. Контент меняется, и судить приходится либо по словам самого агента, либо через модель-судью, которая тоже ошибается. Поэтому задачи выполняются на шести имитациях популярных российских сервисов — копиях с фиксированным содержимым.

За счёт этого проверка становится однозначной: смотрят не на отчёт агента о выполнении, а на то, изменилось ли на странице нужное состояние.