Метрика Skill Entropy показывает, сколько разных приёмов модель применяет в задаче

Длинные задачи, где нужно много шагов, обычно оценивают по конечному ответу: решил или нет. Группа из Принстона и других университетов предложила мерить не результат, а состав решения: Skill Entropy показывает, насколько разнообразны приёмы, которые модель применяет по ходу.

Низкая энтропия означает, что модель долбит одну и ту же схему, даже когда та не подходит. Авторы использовали метрику и как показатель для сравнения моделей, и как сигнал при обучении с подкреплением, выложив код и набор задач Skill2-Bench.