Яндекс.Метрика
← Дайджест от 14 ноября 2026

Автор проверки ЕГЭ нейросетью разобрал семь способов обмануть себя метриками

Автор разобрал, как обманывал себя метриками, измеряя точность ИИ-проверки второй части ЕГЭ по обществознанию в своём боте: модель размечает ответ, код считает балл. Случаев самообмана он насчитал семь.

Среди них — оценка на тех же примерах, на которых подбирались правила, и усреднение по заданиям разной сложности, скрывающее провал на одном типе. Ещё один случай: совпадение с экспертом по итоговому баллу при разных основаниях, когда модель ошибается дважды и ошибки компенсируют друг друга.

Общий механизм один: метрика считалась не для проверки гипотезы, а чтобы подтвердить уже принятое решение.