Surge AI выложила тест Dayjob: Tax — 50 заданий налоговых консультантов

Surge AI выпустила Dayjob: Tax — проверку ИИ-агентов на 50 профессиональных налоговых заданиях. Задания собраны не из учебников, а из реальной работы налоговых консультантов: подготовка деклараций, расчёты по клиентским ситуациям, разбор документов.

Смысл теста — отойти от задач с коротким ответом и проверить модель на работе, за которую человеку платят зарплату: результат нужно оценивать так же, как сдачу задания заказчику. Публикация собрала 204 очка на Hacker News, в комментариях спорят, насколько такие задания вообще поддаются автоматической проверке.