Allen Institute выпустил тест XYBench: переспрашивает ли модель при неясной задаче

Исследователи Allen Institute for AI выпустили XYBench — набор из 8115 вопросов, который проверяет, задаёт ли модель уточняющий вопрос, когда вопрос сформулирован неоднозначно, вместо того чтобы молча выдать один из возможных ответов.
Вопросы собраны из программирования, технической поддержки и бытовых задач. Типичная ситуация: пользователь просит починить код, но не говорит, какая версия библиотеки, — правильным поведением считается переспросить, а не угадать.
Авторы прогнали через набор несколько моделей, включая Claude Sonnet 4.6, и фиксируют, что модели чаще дают уверенный ответ, чем признают нехватку данных.