Sakana AI показала сеть с непрерывной памятью вместо отдельных ячеек

Лаборатория Sakana AI выложила работу Continuous Memory Machines — рекуррентную сеть, у которой память не дискретная, а непрерывная. Обычная сеть с памятью хранит ячейки отдельными слотами и выбирает, в какой записать; здесь память — это непрерывное поле, в которое запись и чтение идут размазанно.

Авторы показывают, что такая схема устойчивее держит длинные последовательности и не требует явного механизма выбора слота. Код и разбор опубликованы вместе со статьёй; о работе рассказал канал gonzo_ML, отметив, что архитектура выглядит очевидной задним числом и странно, что её не предложили раньше.