Fireworks выпустила модель Ember-1, исследователь Принстона оспорил её график

Fireworks AI выпустила Ember-1 — собственную модель, о которой компания рассказала в блоге. Fireworks до сих пор была известна как площадка для запуска чужих открытых моделей, теперь выступает и автором.

Графики сравнения вызвали спор. Исследователь Принстона Арвинд Нараянан заметил, что Ember и GLM на опубликованной картинке не лежат на границе лучших сочетаний цены и качества. Имея две другие модели, можно случайным образом распределять запросы между ними и получить любую точку на отрезке — и она окажется выгоднее.

Сам Нараянан оговаривается, что такие графики вообще мало значат, потому что модели подгоняют под тесты. Претензия у него не к цифрам, а к тому, как нарисована граница.

Arvind Narayanan@random_walker

I know these charts don't mean much because they are benchmaxxed six ways to Sunday, but I can't help point out that this is not how Pareto frontiers work! Ember and GLM are *not* on the frontier because you can use a router to randomize between Sol and Gemini to hit any point on https://t.co/hiaOTVmK34

18727 сентября 2026