Sakana AI показала схему MASS: модель дообучается на работе своих же агентов

Sakana AI вместе с UC Berkeley показала MASS — способ дообучать модель на работе её же команды агентов, без людей и внешнего учителя. Название расшифровывается как multi-agent self-supervision, то есть самостоятельная проверка в мультиагентной схеме.
Одна и та же модель играет три роли: решает задачу командой виртуальных подагентов, подбирает лучшую схему их взаимодействия и сама судит, какой прогон вышел удачнее. Победившие прогоны становятся обучающими данными для следующего круга, и цикл повторяется.
Работа опубликована на сайте Sakana. В комментариях на Hacker News спорят, не закрепляет ли такая схема собственные ошибки модели, раз судья и исполнитель — одна и та же сеть.
Что говорят
2001zhaozhaoHacker News
Интересно: здесь есть этап дообучения, то есть это не просто оптимизатор обвязки. Похоже, такой цикл — финальная точка усилий по «автоматической генерации RL-сред», но вопрос в том, как удержать обучение на рельсах и не скатиться в гудхартинг по бессмысленной метрике.
jsemrauHacker News
Если статья Apple про «Intelligence» чему-то и научила, так это тому, что никогда не стоит делать внутри LLM то, что можно сделать рекурсивно и детерминированно.