OpenAI рассказала, что проверяет агентов тестом LifeVal на бытовых задачах

OpenAI рассказала, как проверяет агентов: компания использует внутренний тест LifeVal, где модели дают обычные бытовые задачи пользователей — забронировать, найти, оформить, сравнить — и смотрят, доведена ли задача до конца.

Причина появления теста в том, что проверка знаний перестала что-либо показывать: модель отвечает на вопросы правильно, но ломается на цепочке действий в браузере или операционной системе. LifeVal меряет именно практическую пользу, а не эрудицию.

По словам компании, за последний год GPT заметно прибавила в работе с браузерами, системами и внешними сервисами, и этот тест нужен, чтобы отличать реальный прогресс от роста на академических наборах задач.