Исследователь Тим Деттмерс сжал модели до размера одной видеокарты

Тим Деттмерс выложил систему динамического сжатия моделей, которая ужимает веса до 1,5–2 бит на связь без заметной потери качества. Сжатие происходит во время работы модели, а не заранее, поэтому одна и та же копия весов может разворачиваться под доступную память.

Код встроен в библиотеку bitsandbytes2 и открыт как закрытая бета: доступ дают по заявке. Статья с описанием метода опубликована одновременно.

При такой битности модель на 70 млрд параметров укладывается примерно в 15–18 ГБ памяти вместо 140 ГБ в исходной точности. Это одна потребительская видеокарта.

Tim Dettmers@Tim_Dettmers

Releasing our runtime dynamic compression framework that achieves 1.5-2.0 bit compression at high quality. This is integrated into the bitsandbytes2 library, which starts as a private beta today. Paper: https://t.co/f4L4Nm8JwM Private beta signup: https://t.co/q8PPAulmq3 https://t.co/itisM1zYMo

22922 сентября 2026