Samsung Labs открыла метод сжатия моделей — меньше бита на вес вместо 16

Samsung Labs выложила LittleBit — метод сжатия языковых моделей ниже одного бита на вес. Обычно вес модели хранят в 16 или 8 битах, а квантование до 4 бит считается агрессивным.

Метод раскладывает матрицы весов на скрытые множители и хранит их, а не сами числа. За счёт этого модель помещается в память, где раньше не помещалась совсем, — ценой потери точности, размер которой зависит от модели и задачи.

Код опубликован на GitHub. В обсуждении на Hacker News отмечают, что заявленную выгоду надо смотреть вместе с замедлением на разворачивании весов при каждом запросе.