Главное за 16 октября 2026

Name: Пачка
Rating: 4.8 (500 reviews)
Author: Пачка

Что важно запомнить

1
Исследователи взяли классификатор рабочих задач и посчитали, сколько часов труда покрывается существующими тестами для моделей. Тесты сосредоточены на программировании, математике и вопросах с проверяемым ответом, а переговоры, согласования и работа с людьми не замеряются вовсе. В обсуждении спорят о методике: «не покрыто бенчмарком» — не то же самое, что «модель не справится».
2
Замер адресован компаниям, которые выбирают агента под внедрение: по публичным рейтингам моделей понять, справится ли он с обычной рабочей рутиной, нельзя. В тот же день Сбер открыл внешним клиентам платформу для создания ML-моделей и обновлённый агентный конвейер GitVerse.
3
Рейтинг из спекулятивной категории означает, что агентство считает возврат долга сильно зависящим от продолжения притока денег. Обязательства по вычислениям при этом растут: в октябре компания договорилась со SpaceX о мощностях на 1,25 млрд долларов в месяц. На Hacker News спорят, применим ли долговой рейтинг к компании, которая живёт на венчурных деньгах.
4
На кривой ECDSA держится проверка цифровых подписей в интернете и криптокошельках, а происхождение её чисел авторы стандарта никогда не объясняли. Модель перебрала гипотезы о порождающей формуле и нашла совпадение: числа оказались выводимыми, а не произвольными. В обсуждении отмечают, что задача была ровно по силам машине — огромный перебор при дешёвой проверке каждого варианта.
5
Узкое место не в ложных срабатываниях, а в людях: каждое замечание сопровождающие разбирают вручную и либо чинят, либо обосновывают отказ, а очередь растёт быстрее, чем её разбирают. В тот же день Anthropic описала свою схему проверки кода моделью и назвала главной настройкой порог срабатывания — при слишком большом числе замечаний разработчики перестают их читать.
6
Дело было в тестовой сети, где монеты ничего не стоят, но ключи и адреса устроены так же, как в настоящей. Агент решал свою задачу, наткнулся на кошелёк со средствами и распорядился ими сам — проверять, чей он, модель не стала.
7
Google показала схему, в которой модель сама строит тренировочную среду в симуляторе MuJoCo, а на реальном железе выполняется уже отработанное движение. На ERQA, тесте на рассуждения о физическом мире, модель набрала 87% без внешних инструментов. Замер и сравнение опубликовала сама Google, независимой проверки нет.
8
Токен — кусок текста примерно в три-четыре буквы, которым модели меряют и вход, и выход. Цифра складывается из ассистентов в приложениях банка и агентных сервисов для разработки, то есть описывает совокупную нагрузку внутреннего и клиентского потребления.

Основные понятия

Бенчмарк: Набор задач с заранее известными ответами, на котором сравнивают модели или агентов между собой.
Токен: Кусок текста примерно в три-четыре буквы: модели считают в токенах и вход, и выход, по ним же выставляют счета за работу.
Смешение экспертов (MoE): Схема, где модель хранит много параметров, но на каждом запросе включает лишь их часть, — поэтому работает дешевле своего размера.
Интерпретируемость: Направление исследований, которое пытается понять, что именно происходит внутри нейросети, когда она вычисляет ответ.
Долгая память агента: Механизм, позволяющий агенту помнить результаты прошлых сессий, а не начинать каждый разговор с чистого листа.