Разработчик выложил движок colibri: большие модели работают на домашнем ПК

Разработчик выложил colibri — движок для запуска больших моделей с разреженной архитектурой на обычном домашнем железе. Такие модели состоят из множества «экспертов», из которых на каждый токен работает лишь малая часть, и colibri подгружает нужных экспертов прямо с диска, не требуя, чтобы вся модель помещалась в память.

Движок написан на чистом C без внешних зависимостей. За сутки репозиторий набрал 868 звёзд на GitHub.