Google предложила языковым моделям этап сна для закрепления новых знаний

Google предложила для языковых моделей отдельный этап «сна» — режим, в котором модель закрепляет новое и тренируется на собственных примерах. Метод назван SLEEP и адресован катастрофическому забыванию: усваивая свежую информацию, модель теряет ранее освоенные навыки.

Работа разделена на два режима. В «бодрствовании» модель общается с входными данными и держит новое в краткосрочной памяти — это контекстное окно, которое очищается после диалога. В «сне» новая информация переносится в веса модели, то есть становится постоянной памятью, а не исчезает вместе с сессией.