Файл robots.txt не закрывает контент от обучения моделей — уточнил инженер Google

Гэри Иллиес из Google провёл границу, которая обнуляет двухлетнюю привычку владельцев сайтов: robots.txt управляет краулингом, то есть обходом страниц роботом, а не тем, как потом используется скачанный контент.

Два года в robots.txt массово дописывали Disallow для GPTBot, CCBot и прочих сборщиков данных — и считали, что контент закрыт от обучения моделей. По словам Иллиеса, запись останавливает только обход; если текст уже есть в другом месте или получен иным путём, файл его не защищает.

Практического механизма запретить использование контента для обучения через robots.txt не существует — это отдельный вопрос лицензий и договорённостей.