Детектор машинного текста сменил вердикт на ту же фразу из-за соседних строк

Автор на Хабре показал, что детектор «машинности» текста меняет оценку от того, что лежит вокруг проверяемого фрагмента. В одном тесте оценка ответа «Столица Австралии — Канберра» упала с 0,95 до 0,10, хотя сам ответ не изменился ни на букву: из файла убрали окружающие строки, включая название чат-бота.

В другой паре тексты отличались только переводом строки в конце файла — оценки снова разошлись. То есть детектор реагирует на оформление, а не на авторство, и одна и та же фраза получает противоположные вердикты.