Токен LLM — фрагмент текста, с которым работает языковая модель: целое слово, часть слова, знак препинания или пробел. Модель читает и пишет текст токенами, поэтому в них считают:
- Размер контекстного окна
- Длину промпта и ответа
- Стоимость запросов у провайдера модели
- Лимиты на объём работы
Русский текст обычно делится на большее число токенов, чем английский того же смысла.
Не путайте с токеном API Пачки — секретным ключом, по которому агент или интеграция авторизуется в API. Сэкономить токены LLM агенту помогают инструменты Пачки: Pachca CLI отдаёт описание команд по запросу, а документация доступна в Markdown без лишней вёрстки.
Для разработчиков
Документация на dev.pachca.com →