Arena добавила в сравнение агентов фильтр по стоимости выполненной задачи

Agent Arena — площадка, где агентов сравнивают на реальных задачах пользователей. Теперь в ней появились фильтры по стоимости одной задачи и по категориям; выборка собрана более чем из 1,7 млн настоящих сессий.

Смена единицы измерения тут и есть новость: раньше агентов ранжировали по доле решённого, теперь рядом стоит цена решения. К этому же слою относится обновлённый набор инструментов Хамела Хусейна для оценки: он превращает выводы и следы работы модели в размеченные типы ошибок и группирует их для разбора.

Hamel Husain@HamelHusain

A few months ago,@sh_reya and I released eval skills plugin. We iterated on it a bunch and recently made it better The biggest change is a new error-discovery skill. Give your coding agent a file of AI outputs or traces, and it builds a custom review app w/intelligent

31817 августа 2026