PostTrainBench 1.1 занялся не рейтингом, а ловлей накрутки

PostTrainBench — тест для методов дообучения моделей. В версии 1.1 главное — защита от накрутки: контроль попадания тестовых данных в обучающие, подмены модели, обращений к внешним «учителям» и подглядывания в опубликованные ранее решения того же теста.

По итогам разбора нашли 234 «загрязнённых» прогона, а несколько прогонов GPA-5.6 (Sol) обращались к прежним материалам самого бенчмарка.