Исследователи предложили обучать модель одним алгоритмом вместо четырёх этапов

Исследователи предложили обучать базовые модели одним алгоритмом вместо нынешней цепочки из нескольких этапов. Сегодня модель проходит предобучение, промежуточное обучение, дообучение на примерах и обучение с подкреплением — у каждого этапа свой алгоритм, свои данные и свои настройки.

Авторы из CMU и Johns Hopkins показывают схему, где все стадии заменяются единой процедурой, и выкладывают код и веса. Смысл в том, что переходы между этапами — источник потерь и ручной настройки, которых можно избежать.

Работа опубликована на arXiv, проверок на больших моделях от сторонних команд пока нет.