DeepSeek выпустила открытую модель V4.1-Flash — меньше памяти на длинных диалогах

DeepSeek выложила V4.1-Flash — модель, которая отошла от общепринятой архитектуры только из декодера. Декодер — часть, которая порождает текст; почти все современные большие модели состоят из неё одной.

Здесь вместо этого связка из двух декодеров: один обрабатывает входной текст, второй порождает ответ. Цель — работа с KV-кешем, памятью о уже обработанных словах, которая съедает основную часть видеопамяти при длинных диалогах. DeepSeek от версии к версии сокращает этот расход, и Flash — очередной шаг.

Канал gonzo_ML отмечает, что среди топовых открытых моделей это сейчас единственный отход от стандартной схемы, если не считать T5Gemma.