Unsloth выложила сжатые версии Kimi K3: самая мелкая — 594 ГБ

Команда Unsloth выложила урезанные версии открытой модели Kimi K3 — в вариантах от 8 до 1 бита на параметр. Чем меньше бит, тем грубее хранятся числа внутри модели и тем меньше файл.

Самый экстремальный вариант весит 594 ГБ вместо исходных 1,56 ТБ и сохраняет, по замерам авторов, 78,9% качества. Запускается он на Mac Studio с 128 ГБ памяти. В обсуждениях напоминают, что исходные веса уже были в сжатом формате, то есть это сжатие сжатого, и 594 ГБ всё равно требуют серверного железа.

Unsloth AI@UnslothAI

Kimi K3 can now be run locally! ✨ The 1-bit model retains ~78.9% accuracy after we shrunk it from 1.56TB to 594GB (-62% size). Run on a Mac Studio + 128GB RAM device. Kimi K3 is the strongest open model to date. Guide: https://t.co/1mVwOMLpDW GGUF: https://t.co/bt1c1ADdCZ https://t.co/rdvVlDIitX https://t.co/yFJ5TTeNz5

10 411 ♡

29 июля 2026