Почти треть свежих веб-текстов для обучения моделей написана моделями — замер на FineWeb

Исследователи предложили способ оценить, сколько текста в интернете уже написано моделями, и что это значит для обучения новых. После фильтрации качества FineWeb — стандартной чистки веб-корпуса — доля страниц, помеченных детектором Pangram как машинные, составила 27,5% для июньских данных 2026 года и 31,1% для августовских.

То есть почти треть свежего веба, попадающего в обучающие наборы, сама произведена моделями. Авторы выводят для таких данных закон масштабирования: насколько машинный токен «дешевле» человеческого по вкладу в качество обучаемой модели.

Tanishq Mathew Abraham, Ph.D.@iScienceLuvr

How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text "After applying FineWeb quality filtering, we find that 27.5% of tokens from June 2026 web data are labeled as AI-generated by Pangram, rising to 31.1% by August." "How does AI text in the wild affect https://t.co/w8jb1fvX1K

271 октября 2026