Cactus Compute выложил модель Needle весом до 29 МБ для часов и микроконтроллеров

Стартап Cactus Compute выложил Needle — модель автоматизации для совсем маленьких устройств. Веса занимают от 8 до 29 МБ при точности 2 бита на вес, то есть модель помещается в память телефона, часов, микроконтроллера или автомобильного блока.

Умеет она три вещи: вызывать инструменты, извлекать данные в заданную структуру и считать эмбеддинги — числовые представления текста для поиска по смыслу. Расчёт на сценарии, где отправлять запрос в облако нельзя или незачем: носимые устройства, умный дом, роботы.