Автор Хабра запустил видеомодель LTX-2.5 на карте вшестеро меньше её весов

Автор Хабра запустил видеомодель LTX-2.5 на RTX 3080 с 10 ГБ видеопамяти. У модели 22 млрд параметров: 39 ГБ весов трансформера плюс 24,5 ГБ текстового кодировщика — в карту это не помещается на порядок.

Автор описал, что пришлось сделать: разбить загрузку по частям и выгружать неиспользуемые блоки, чтобы в памяти одновременно лежало только то, что считается сейчас. Запуск сделан под Windows и встроен в конвейер коротких роликов.

Это продолжение линии, которую автор другого разбора показал на языковых моделях: модель на 125 млрд параметров крутится на RTX 5070.