Запрос к модели не на английском обходится дороже — замер объединения CLEAR

Объединение CLEAR (Coalition for Language Equity in AI Research) измерило, насколько дороже обходится один и тот же смысл на разных языках. Поставщики берут плату за токен — кусок текста, на которые модель режет фразу, — а токенизаторы обучены в основном на английском.

По замерам, одна фраза у токенизатора GPT-5 занимает 13 токенов в английском варианте и заметно больше на языках, которых в обучающих данных было мало. Результат — за тот же вопрос пользователь платит больше просто из-за языка, а при фиксированном окне контекста в диалог помещается меньше текста.

Это первая публикация объединения из серии исследований языкового равенства.