OpenAI объяснила, почему цену за миллион токенов нельзя сравнивать между моделями

Токен — кусок текста, на которые модель режет запрос и ответ; цену принято считать за миллион токенов. Тибо Соттио из OpenAI написал, что эта единица не стандартная: у разных моделей разные словари, поэтому один и тот же текст превращается в разное число токенов, и доллар за миллион у двух вендоров означает разный объём работы.
Вторая часть — сколько токенов модель тратит на рассуждения, прежде чем выдать ответ: болтливая модель по формально низкой цене выходит дороже. Он же спросил у компаний, почему они держатся за Opus вместо более дешёвого GPT-5.6 Sol, если цена важна, и отдельно опубликовал инструкцию, как включить в Codex контекстное окно на миллион токенов — этого просили постоянно, хотя по умолчанию лимит подобран под баланс цены и качества.
Пост от продуктового руководителя OpenAI — заодно и аргумент в пользу собственного прайса, так что сравнение стоит проверять на своих задачах.