Huawei открыла MACaQ — свой инструмент сжатия моделей для локального запуска

Huawei выложила в открытый доступ MACaQ — свой внутренний инструмент для квантизации, то есть сжатия модели за счёт уменьшения точности её чисел. Приём позволяет запускать большие модели на слабом железе, но обычно стоит заметной потери качества.

MACaQ заявлен как не зависящий от архитектуры модели и сжимающий одновременно веса и активации — промежуточные значения, которые модель считает во время работы. Статья с описанием метода попала в подборку Daily Papers на Hugging Face.