Яндекс.Метрика

Токен LLM

Что такое Токен LLM?

Единица текста, которой считает языковая модель: слово или его часть. В токенах измеряют контекстное окно, длину запроса и стоимость работы LLM

Токен LLM — фрагмент текста, с которым работает языковая модель: целое слово, часть слова, знак препинания или пробел. Модель читает и пишет текст токенами, поэтому в них считают:

  • Размер контекстного окна
  • Длину промпта и ответа
  • Стоимость запросов у провайдера модели
  • Лимиты на объём работы

Русский текст обычно делится на большее число токенов, чем английский того же смысла.

Не путайте с токеном API Пачки — секретным ключом, по которому агент или интеграция авторизуется в API. Сэкономить токены LLM агенту помогают инструменты Пачки: Pachca CLI отдаёт описание команд по запросу, а документация доступна в Markdown без лишней вёрстки.

Для разработчиков

Документация на dev.pachca.com →

Связанные термины