Cactus Compute показала агентскую модель Needle2 весом 14 МБ

Cactus Compute выложила Needle2 — языковую модель размером 14 МБ, рассчитанную на телефоны, носимые устройства, умный дом и роботов. Идея в том, чтобы модель, которая умеет вызывать инструменты, влезала в устройство, где нет ни гигабайтов памяти, ни постоянной связи с сервером.

При таком размере речь не про разговор, а про разбор короткой команды и вызов нужной функции: включить свет, поставить таймер, передать задачу дальше. Автор подаёт это как агентскую модель, а не как чат-бота.

В комментариях на Hacker News главный вопрос — где граница применимости: на чём модель такого размера ещё держится, а на чём начинает придумывать вызовы, которых нет.