Разработчик запустил модель Qwen на нейроблоке Apple в обход процессора и видеоядра

Автор на Хабре продолжил разбор Apple Neural Engine — блока в чипах Apple, который считает нейросети отдельно от процессора и видеоядра. Во второй части он запустил модель Qwen целиком на этом блоке, минуя CPU и GPU.

Официального способа так делать нет: Apple не публикует формат и требует идти через свои библиотеки. Автор разобрался, что подать на вход компилятору, чтобы тот выдал нужный результат. Практический смысл в энергопотреблении: этот блок рассчитан на постоянную работу без нагрева, в отличие от видеоядра.