Библиотека ggml для локального запуска моделей дошла до версии 1.0

Вышла версия 1.0.0 библиотеки ggml — это основа, на которой работают llama.cpp и большинство способов запустить модель на своём компьютере без видеокарты от Nvidia.
До сих пор проект жил без стабильного номера версии: разработчики, встраивавшие его в свои продукты, подтягивали произвольный коммит и чинили поломки руками. Единица означает зафиксированный программный интерфейс, на который можно опираться.
Проект остаётся открытым и бесплатным; публикация релиза собрала почти 400 очков на Hacker News.
Что говорят
jacquesmHacker News
Больше всего впечатляет, что они постоянно находят новые способы ускорить код на том же железе: примерно раз в месяц обновляюсь и получаю прирост на 5–10%. Сегодня проверил специально — на моём бенчмарке с промптом в 50 тыс. токенов время упало с 4:22 до 3:59.
kodomanHacker News
Давно пользуюсь llama.cpp и другими программами на ggml на своей слабенькой AMD-карте, которая умеет только Vulkan, — и благодаря ggml всё вполне работоспособно.
om8Hacker News
Назвать библиотеку своими инициалами — отдельный жанр: «GG» в GGML — это инициалы создателя, Георги Герганова.