Perplexity показала метод JOLT — модель учит себя без более сильного учителя

Perplexity предложила метод обучения JOLT, в котором одна модель одновременно учится и учит сама себя. При обучении с подкреплением модель получает награду только за итог попытки, и по этому сигналу непонятно, какие именно шаги к успеху привели. На длинных агентных задачах, где попытки удаются редко, учить почти не на чем.

Обычно проблему обходят дистилляцией: модель посильнее оценивает каждый шаг ученика. В JOLT роль учителя берёт на себя та же модель, и обе роли обучаются вместе, без внешней более мощной сети.

Практический смысл — убрать зависимость от доступа к более сильной модели при обучении агентов на длинных задачах.