Задачи для обучения и проверки в ARC-AGI-2 оказались разными по сложности

ARC-AGI-2 — набор задач на абстрактные рассуждения, где модель по нескольким примерам должна вывести правило и применить его. Автор на Хабре сравнил две его части: тренировочную и проверочную.

Они различаются по устройству. Медианная задача из тренировочной части даёт на выходе сетку около 100 клеток, из проверочной — 225. Два и более тестовых входа требуют 6,9% тренировочных задач и 40,8% проверочных. Вывод автора практический: если мерить прогресс своего решателя на случайной выборке из тренировочной части, замер идёт не на том распределении, на котором его потом оценят.