2 источникаX 1.4kLiquid AI открыла Pipette — замер моделей прямо на телефонах
Оценки моделей обычно делают в облаке, где памяти и времени сколько нужно. На телефоне ограничения другие: несколько гигабайт под модель и требование ответить за секунды, поэтому облачные таблицы там ничего не предсказывают.
Liquid AI выложила Pipette — открытый набор проверок для запуска моделей на устройстве: мерятся качество, скорость, задержка и память для комбинаций «модель плюс сжатие плюс среда запуска плюс устройство». В базе больше десяти тысяч проверенных результатов, 35 классов моделей, семь вариантов сжатия и четыре устройства; Artificial Analysis отдельно прогнала телефонные замеры на iPhone 17 Pro и Galaxy S26 Ultra.
В рамке «8 ГБ памяти и 16 тысяч токенов контекста» верх среднего балла поделили Nanbeige4.2-3B и LFM2.5-2.6B — по 63. Но на iPhone вторая отвечает за 8 секунд и занимает 2,3 ГБ, а первая — 21,4 секунды и 4 ГБ. Модели с редкой активацией, где на каждый токен работает около миллиарда параметров, отвечают на телефоне быстрее шести секунд.
