Майнинговые карты Nvidia на чипе A100 приспособили под работу моделей

В 2021 году Nvidia выпустила для майнинга карты CMP HX170 на чипе от A100: вычислительные возможности урезаны в 32 раза, памяти 8 или 10 гигабайт, зато пропускная способность памяти оставлена полной — майнингу нужна именно она. После перехода Ethereum на другой алгоритм карты стали бесполезны.

В конце июня появилась работа, показавшая, что выдача токенов языковой моделью упирается как раз в пропускную способность памяти, а не в арифметику. По этой логике урезанные майнинговые карты для работы моделей годятся, и их начали использовать именно так — железо, списанное в утиль, вернулось на рынок ИИ-нагрузок.