PrismML ужала модель Bonsai 2 в девять раз — она влезает на рабочую машину

PrismML выпустила Bonsai 2 27B — сжатую версию модели, которая занимает в девять раз меньше места при почти неизменном качестве ответов. Сжатие здесь означает уменьшение точности представления весов: модель перестаёт требовать серверной видеокарты и помещается на рабочую машину.
В тот же день вышла Shapelearn Qwen3.8 27B — сборка, которой хватает 13,1 ГБ видеопамяти, то есть одной потребительской карты. В обсуждении спорят о честности замеров: «почти без потерь» проверяли на наборах задач, где деградация видна хуже всего.
Что говорят
AurornisHacker News
Они настолько маленькие, что запускаются целиком в браузере — только не забудьте потом почистить скачанные веса. Как и предыдущая модель, поражает, насколько хорошо они работают; но дайте им задачу подольше, и они разваливаются зрелищно и интересно.
kamranjonHacker News
Отличная новость для владельцев 16-гигабайтных карт: 27B в версии 3.8 была великолепна, но на меньшем, чем 32 ГБ, толком не шла. Попробую загрузить на своей Intel B50 на 16 ГБ — правда, не уверен, что эти кванты пока умеют ускоряться на XPU-ядрах.