Исследователи показали модель, которая запоминает новое прямо во время работы
Исследователи опубликовали работу о том, как языковая модель переписывает собственные веса — внутренние числа, определяющие её поведение. Обычно для этого нужно отдельное дообучение; здесь модель меняет их по ходу работы, запоминая новое без запуска полноценного обучения.
Авторы показывают, что так можно встраивать знания, которые иначе пришлось бы каждый раз класть в запрос. Работа собрала больше трёхсот очков на Hacker News, в комментариях спорят, где граница между таким самообновлением и обычным дообучением на лету и как проверять, что модель не испортила себя.
Что говорят
xhrpostHacker News
Заявляют, что модель переписывает собственные веса рассуждением, без градиентов и обучения. Но прирост точности должен откуда-то браться — похоже, он выводится из тестовых задач, на которых она сама себя проверяет.
esafakHacker News
Они пишут про самопереписывание как шаг к рекурсивному самоулучшению, но слово «выравнивание» в статье не встречается ни разу. Что, по-вашему, будет, когда роботы смогут так менять себя без всякого надзора?
gavinrayHacker News
Разве гугловская работа про «сон» не показала то же самое? Там в офлайн-фазе модель разблокирует заранее выделенные MoE-блоки памяти и обновляет веса на самостоятельно сгенерированных примерах.