Amazon заменила Claude Sonnet на свой классификатор и сэкономила миллионы долларов

Amazon заменила модель Claude Sonnet 4.6 на собственный компонент Strands Decider в тех местах, где агенту нужно выбрать следующий шаг, и сообщает об экономии в миллионы долларов. Strands Decider — часть агентного фреймворка Strands: вместо вызова большой модели для простого решения «какой инструмент дёрнуть дальше» работает маленький специализированный классификатор.
Логика та же, что и в разборах стоимости агентов: рутинная маршрутизация составляет основную массу вызовов, и платить за неё по тарифу старшей модели дорого. В обсуждении на Hacker News спорят, где проходит граница: на сложных ветках дешёвый выбор шага ошибается, и агент уходит не туда.
Что говорят
phillenniumHacker News
Забавно, что ИИ прошёл полный круг: «давайте строить эффективные классификаторы» → «забудьте про эти глупые классификаторы, СТРОИМ МАШИННОГО БОГА» → «а машинный бог дорогой и не впечатляет, давайте строить эффективные классификаторы».
armcatHacker News
Лет шесть назад мы сделали модель и пайплайн для классификации и маршрутизации тикетов на SVM: обучение занимало пару минут, классификация — несколько миллисекунд. Удивительно наблюдать, как поле сначала ушло в LLM, а теперь возвращается к быстрым и дешёвым классификаторам.
KaedonHacker News
При экономии около $21 700 на миллион тикетов, чтобы выйти на $2 млн, нужно минимум 92 млн тикетов в год. Сначала я думал только про поддержку и внутренние JIRA, но в статье упоминаются алармы, находки безопасности и заявки на расширение мощностей — тогда масштаб выглядит правдоподобнее.