Модель Qwen3.8 держит умеренное сжатие и разваливается от предельного — замер Quesma

Quesma прогнала квантованные версии открытой модели Qwen3.8 27B через набор тестов и показала, где проходит граница. Квантование — это сжатие модели за счёт огрубления чисел внутри неё: чем меньше бит на число, тем меньше памяти нужно и тем быстрее ответ.

При 4 битах качество держится и остаётся близким к исходному. При 1 бите модель разваливается: результат падает не постепенно, а обвально. Разбор собрал 218 очков на Hacker News, где обсуждают, что именно ломается на низкой битности.