Главное за 29 июля 2026
Что важно запомнить
- 1
- 2
- 3
- 4
- 5
- 6
Основные понятия
- Спекулятивное декодирование
- Приём ускорения: маленькая быстрая модель предугадывает следующие слова, а большая проверяет их пачкой. Ответ выходит быстрее и дешевле.
- Сжатие модели в биты
- Числа внутри модели хранят с меньшей точностью. Файл становится меньше и влезает в доступную память, но качество ответов немного падает.
- Terminal Bench
- Набор задач, которые агент решает прямо в командной строке. Оценку ставят не за текст ответа, а за выполненную на машине работу.
- Эксперты в модели (MoE)
- Модель разбита на много отдельных блоков, и на каждый запрос включается лишь несколько из них. Поэтому огромная модель считается сравнительно быстро.
- Свободный денежный поток
- Деньги, которые остаются у компании после всех расходов и вложений. Когда он падает, рост выручки не означает, что появились свободные средства.