Автор Хабра посчитал, во сколько обходятся видеокарты для модели Яндекса

Автор Хабра посчитал, во сколько обходится запуск открытой модели Яндекса AliceAI-Foundation-80B-A3B-Base на своём железе. Это базовая модель без дообучения на диалогах, выложенная в открытый доступ неделю назад.

Расчёт строится вокруг того, какие видеокарты нужны, чтобы модель поместилась, и сколько это стоит в час.

Вывод статьи прикладной: открытые веса снимают вопрос лицензии, но не вопрос счёта за железо.