VK Tech гасит видеокарту между редкими запросами — первый ответ идёт пять минут

VK Tech описала, как гасить видеокарту между редкими запросами к языковой модели и что это стоит по времени. Проблема: если запросов несколько в день, ускоритель простаивает, а платить за ноду приходится круглосуточно.

Команда настроила удаление подов с моделью при отсутствии нагрузки и автоматический запуск при первом запросе. Расплата — 294 секунды до первого ответа: столько уходит на поднятие пода, скачивание весов и прогрев.

Для фоновых задач это терпимо, для интерактивного помощника — нет.