Revolut перевёл часть ИИ-нагрузки на открытую модель GLM у себя на серверах
Британский необанк Revolut перевёл часть своей ИИ-нагрузки на модель GLM, запущенную на собственном железе, — об этом рассказал инженер компании Гильермо Флор. Речь о замене платных запросов к внешнему API на свой запуск открытой модели.
Основной аргумент — деньги и данные: при большом объёме запросов аренда у вендора выходит дороже собственных серверов, а финансовые данные не покидают периметр. В обсуждении на Hacker News спорят о реальной экономике такого перехода: своё железо требует команды сопровождения, а открытые модели отстают от закрытых на части задач.
Что говорят
jacquesmHacker News
Мы сделали то же самое на куда более слабом железе, и это себя полностью оправдало: больше не нужно думать, можно ли доверять поставщикам инференса наши данные в долгую. По-моему, ответ однозначный — нельзя.
gosenHacker News
56 B200, 30 центов за миллион токенов — это вложения порядка $2,5–3 млн в железо плюс электричество и охлаждение. Интересно, сколько они тратили на токены раньше: при $500k–1M в месяц окупится примерно за год, если инфраструктура будет стабильной.
aurareturnHacker News
Скорее всего, открытые модели действительно «достаточно хороши» для большинства задач разработки. Но планка будет двигаться, и передовые лаборатории найдут новые области, где нужен именно фронтир.