Liquid AI выпустила модель LFM2.5 для агентов, работающих прямо на устройстве

Liquid AI выпустила LFM2.5-24B-A2B — модель на 24 млрд параметров, из которых на запросе работают только 2 млрд. Такая схема позволяет держать модель в памяти телефона или ноутбука и отвечать быстро, не выходя в облако.
Компания позиционирует её как основу для агентов, работающих прямо на устройстве: вызов инструментов, короткие цепочки действий, офлайн. Обсуждение на Hacker News собрало 284 очка, в комментариях спорят о реальной скорости на потребительском железе.
Что говорят
serfHacker News
На 5070 Ti в llama.cpp со 131k контекста и без всякого тюнинга получаю 200–320 токенов/с. Про «ум» модели пока сказать не могу, но с такими маленькими агентными моделями очень интересно играться.
sebmellenHacker News
184 токена/с на M5 Max и до 21K токенов/с на одной B300 — цифры впечатляют. Непонятно только, что именно меряет AutomationBench: там модель резко выделяется, а на остальных бенчмарках идёт вровень с другими локальными моделями.