AMD покупает Taalas — стартап, вытравливающий модели прямо в кремнии

AMD объявила о покупке Taalas, стартапа с необычным подходом к ускорению работы моделей: вместо универсального чипа он делает микросхему под одну конкретную модель, зашивая её веса прямо в кремний. Универсальность теряется полностью, зато запросы обрабатываются быстрее и с меньшим расходом энергии.
Смысл сделки для AMD не в обучении моделей, а в обслуживании запросов, где расходы растут вместе с числом пользователей. Ограничение видно сразу: модели сменяются за несколько месяцев, изготовление партии чипов занимает больше времени, и вытравленная в кремнии модель устаревает вместе с партией. В обсуждении спорят ровно об этом — окупится ли специализированное железо при нынешней скорости смены моделей.
Что говорят
syntaxingHacker News
Это всё логичнее: SOTA-модели сходятся к похожим архитектурам и возможностям. Не удивлюсь, если в итоге получим ASIC с базовой моделью плюс «дообучающую» карту — физический аналог LoRA-адаптера.
MarkWayneNewtonHacker News
Подход самоограничивающийся, но хороший: чтобы заметно поднять производительность, не нужны ни новая архитектура, ни бесконечная память.
badatnamesHacker News
Ну вот и всё с этой мечтой. Остаётся ждать, когда через десяток-другой лет их начнут сливать с корпоративных складов на ebay тысяч по пять за штуку.