NVIDIA выпустила TensorRT Model Connect: две команды до ускоренного запуска

NVIDIA открыла публичный доступ к TensorRT Model Connect. Инструмент берёт поддерживаемую модель с Hugging Face и доводит её до запуска на TensorRT — библиотеке NVIDIA, ускоряющей выполнение запросов на её видеокартах — за две команды.

Главное изменение — из процесса убрали промежуточный экспорт в формат ONNX, который раньше был обязательным шагом и часто ломался на нестандартных архитектурах. Получившийся пакет можно вызывать из C++ напрямую, без обёртки на Python.

NVIDIA AI@NVIDIAAI

We just released TensorRT Model Connect in Public Preview. You can take a supported @huggingface model to end-to-end TensorRT inference in just two commands. No intermediate ONNX export, and the resulting bundle can run through native C++ APIs. We also built the entire project https://t.co/941RH6j2tc

42418 августа 2026