Исследователи не нашли выигрыша от обучения на искусственных данных при равных затратах

Синтетическое пред-предобучение не даёт выигрыша, если честно посчитать все потраченные токены и вычисления, — показала свежая работа, разобранная в канале gonzo_ML. Приём состоит в том, что модель сначала учат на искусственных структурах: клеточных автоматах, языках со сбалансированными скобками — в расчёте, что она заранее усвоит полезные закономерности.

Проверка показала, что эффект исчезает: как только начинается обучение на естественном языке, оно стирает заложенные заранее предпочтения. При равном бюджете вычислений модель без подготовительного этапа выходит туда же.

Это типичный результат для приёмов, которые меряли без учёта потраченных ресурсов: выигрыш был у сравнения, а не у метода.