HardenedVault выложила SonicBoom — среду запуска моделей без Python

HardenedVault выложила SonicBoom — среду запуска языковых моделей, написанную с нуля на C++ и CUDA, без Python ни при работе, ни при сборке. Компания занимается безопасностью Linux и компиляторов, и мотив здесь прежде всего в сокращении зависимостей: питоновская обвязка тянет сотни пакетов, каждый из которых — потенциальная дыра.

Всё упаковано в одну библиотеку libsonicboom.so, которую подключают из любого языка через стандартный интерфейс C. Основным языком для работы с ней авторы выбрали Scheme. Цель проекта — локальный запуск моделей на потребительских видеокартах.