Главное за 13 сентября 2026
Что важно запомнить
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
Основные понятия
- Дистилляция
- Обучение маленькой модели на ответах большой: результат повторяет поведение оригинала, но запускается дешевле.
- Разреженная архитектура (MoE)
- Модель разбита на множество «экспертов», и на каждый кусочек текста работает лишь малая их часть — это позволяет держать огромную модель при умеренных вычислениях.
- Токены
- Единицы, в которых считается объём текста, отправленного модели и полученного от неё; по ним провайдеры выставляют счёт.
- Проверки на выравнивание
- Тесты, где смотрят, станет ли модель добиваться цели запрещённым способом, если запрещённый способ короче законного.