OpenAI отказалась обучать модели на данных из «живого» интернета

OpenAI отказалась обучать модели на данных из «живого» интернета — то есть на страницах, которые скачиваются и используются сразу по мере появления. Компания переходит на фиксированные наборы данных, собранные и проверенные заранее.

Причина в том, что сеть всё сильнее заполняется текстами, написанными самими моделями: обучение на свежем вебе означает обучение на выходе предыдущих версий. Отдельный риск — целенаправленная подмена: страницу можно создать специально, чтобы она попала в обучение и изменила поведение модели.