Навык для Claude Opus поднял результат на ARC-AGI-3 с 30 до 100 процентов

ARC-AGI-3 — набор задач на поиск закономерностей, где модели традиционно проваливаются. Разработчики собрали для Claude Opus 5 отдельный навык: описанную процедуру с вызовом инструментов и жёсткой формой ответа, которая заставляет модель дополнительно подумать перед предсказанием.

Результат поднялся с 30 до 100 процентов — выше, чем у людей на том же наборе. Автор канала ai_newz делает вывод, что навыки оказались эффективнее системных подсказок: в них можно зашить работу с инструментами и тем самым добиться повторяемости ответов.

Оборотная сторона очевидна: навык писали под конкретный бенчмарк, и стопроцентный результат говорит о том, насколько задача поддаётся такой настройке, а не об общей способности модели.