Автор Хабра прогнал 14 локальных моделей на мини-ПК — в деле остались четыре

Автор Хабра сравнил локальные модели на мини-ПК GMKtec EVO-X2 с процессором Ryzen AI Max+ 395 и 96 ГБ памяти. Через тесты прошли 14 моделей в сжатии Q4 — то есть с весами, округлёнными до четырёх бит, чтобы влезть в память.

Цифры разошлись сильно: Qwen3.8 27B выдаёт 12,8 токена в секунду. Gemma 4 26B A4B на том же железе работает заметно быстрее за счёт архитектуры, где на каждый запрос включается лишь часть весов. Сборка — Ubuntu 26.04 и LM Studio.

Из 14 моделей автор оставил себе четыре: остальные либо не влезали в память с нужным контекстом, либо давали скорость, при которой ответ приходится ждать дольше, чем читать.