Cactus Compute выложила модель Needle весом 14 МБ для телефонов и часов

Cactus Compute открыла Needle — базовую модель на 14 МБ, рассчитанную на устройства без нормального процессора для нейросетей: телефоны, носимые гаджеты, умный дом, роботы. Смысл такого размера в том, что модель влезает в память вместе с приложением и работает без обращения к серверу.

Репозиторий за день собрал больше пятисот звёзд на GitHub — интерес идёт от разработчиков встроенных устройств, для которых любой сетевой вызов означает задержку и расход батареи.

Что именно модель умеет на таком объёме, компания описывает узко: короткие команды и разбор ввода, а не свободный диалог.