Baidu открыла веса модели ERNIE 5.5 Flash

Baidu выложила в открытый доступ ERNIE 5.5 Flash Base. В модели 280 млрд параметров, но при генерации каждого слова работают только 14 млрд — около 5%. Так устроена разреженная активация: запрос направляется не во всю сеть, а в несколько её частей.

Инженеры описали приём Latent-Gated Sparse Attention: он распределяет память под историю диалога так, чтобы при длинном контексте не раздувать расход. Baidu заявляет результаты на уровне ведущих моделей сопоставимого размера; независимых замеров пока нет.