Главное за 17 ноября 2026
Что важно запомнить
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
Основные понятия
- Кэшированные токены
- Уже обработанный моделью кусок диалога или документа, который при повторном запросе не считают заново, а берут из памяти — он стоит заметно дешевле обычного.
- Ядра (kernels)
- Низкоуровневые подпрограммы, которые выполняют математику обучения и работы модели на конкретном железе; свой набор ядер нужен каждому типу ускорителей.
- Сжатие контекста
- Замена длинной истории диалога кратким пересказом, когда переписка перестаёт помещаться в окно модели; часть деталей при этом теряется безвозвратно.
- Активные параметры
- Доля весов модели, которая реально участвует в обработке каждого слова: в больших моделях из триллиона параметров включаются лишь десятки миллиардов.
- Квантование
- Хранение весов модели с меньшей точностью чисел ради экономии видеопамяти — модель помещается на меньшее число карт ценой некоторой потери качества.