Яндекс.Метрика
← Дайджест от 17 ноября 2026

Главное за 17 ноября 2026

Что важно запомнить
  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
Основные понятия
Кэшированные токены
Уже обработанный моделью кусок диалога или документа, который при повторном запросе не считают заново, а берут из памяти — он стоит заметно дешевле обычного.
Ядра (kernels)
Низкоуровневые подпрограммы, которые выполняют математику обучения и работы модели на конкретном железе; свой набор ядер нужен каждому типу ускорителей.
Сжатие контекста
Замена длинной истории диалога кратким пересказом, когда переписка перестаёт помещаться в окно модели; часть деталей при этом теряется безвозвратно.
Активные параметры
Доля весов модели, которая реально участвует в обработке каждого слова: в больших моделях из триллиона параметров включаются лишь десятки миллиардов.
Квантование
Хранение весов модели с меньшей точностью чисел ради экономии видеопамяти — модель помещается на меньшее число карт ценой некоторой потери качества.