Разработчик выложил Janas — инструмент запускает модели крупнее памяти

Разработчик выложил Janas — инструмент, который запускает языковые модели крупнее оперативной памяти компьютера. Приём работает для моделей архитектуры MoE, где на каждый токен включается лишь малая часть весов: нужные блоки подгружаются с SSD по ходу генерации, остальные лежат на диске.

Плата — скорость: диск медленнее памяти на порядки, и ответ идёт заметно дольше, чем при полной загрузке весов. Польза в другом: модель, которая по паспорту требует сервера, запускается на обычной машине, пусть и медленно.