Разработчик запустил языковую модель Qwen на взломанной PlayStation 5

Разработчик выложил PS5LM — порт движка llama.cpp на взломанную PlayStation 5. На консоли он запустил языковую модель Qwen 3.8 на 27 млрд параметров с 2-битным квантованием, то есть с весами, ужатыми до двух бит вместо шестнадцати. Скорость — около 20 токенов в секунду, примерно треть страницы текста в минуту.

Это не отдельное ядро под конкретную модель, а именно порт движка: запустить можно любой небольшой файл формата GGUF, а общаться с моделью — через обычный веб-интерфейс.