Модель пометила все 179 своих ответов как надёжные — четыре провалили тесты

Разработчик проверил, можно ли доверять самооценке модели: он просил её в конце ответа честно пометить, уверена ли она в написанном коде. Идея в том, чтобы по этой метке отсеивать плохие решения, не гоняя тесты.

На 20 задачах на Python в нескольких прогонах все 179 ответов получили метку SURE. Четыре из них тесты не прошли. То есть метка уверенности не отличает рабочий код от нерабочего — она ставится всегда.