Только два навыка из девяти для Claude Code обогнали пустой текст той же длины

Автор Хабра сравнил девять самых популярных скиллов для Claude Code с пустышкой — нейтральным текстом той же длины, в котором нет ни одного совета, как работать. Скилл здесь — это текстовая инструкция, которую агент подгружает перед работой.

Агент 450 раз решал задачи из наборов SWE-bench и Terminal-Bench в трёх вариантах: со скиллом, с пустышкой и без всего.

Лучше пустышки оказались только два скилла из девяти, один сработал хуже неё. Набор superpowers, у которого почти 300 тысяч звёзд на GitHub, от пустышки не отличился — то есть выигрыш давал сам факт дополнительного текста в контексте, а не содержание инструкций.