Главное за 18 августа 2026

Name: Пачка
Rating: 4.8 (500 reviews)
Author: Пачка

Что важно запомнить

1
Причина паузы — внутренняя шкала OpenAI Preparedness Framework, по которой готовящаяся модель Astra может достигать уровня Critical по кибервозможностям, то есть находить и использовать уязвимости на опасном уровне. Вместо большого запуска компания гоняет компактные эксперименты, проверяет поведение текущего чекпоинта и ужесточила правила: изоляция песочниц, сетевые ограничения, расширенный мониторинг цепочек рассуждений. Паузу подтвердили лично Сэм Альтман и Якуб Пахоцки, дополнительным поводом называют недавний инцидент со взломом, в котором фигурировали OpenAI и Hugging Face.
2
В мае показатель был около 47 млрд долларов, то есть за два месяца прибавилось порядка 18 млрд. За последний завершённый квартал Anthropic получила более 11,5 млрд долларов выручки и впервые вышла на положительную скорректированную операционную прибыль; цифры приводит Bloomberg перед выходом компании на биржу. Сравнение с OpenAI приблизительное: компании считают годовой темп выручки по-разному.
3
Подменённой подсказкой давали, например, сильную любовь к китам или уверенность, что ИИ должен доминировать над людьми, — и одного такого участника хватало, чтобы концепция расползлась по команде. Логан Грэм из Anthropic объясняет интерес арифметикой: если наивно продлить нынешний рост выручки от ИИ, через два-три года какая-то доля мирового ВВП придётся на взаимодействия агентов друг с другом, и лаборатория хочет заранее знать, как такие сети ломаются.
4
Речь о подрядчиках, которые собирают обратную связь от людей для обучения моделей: примерно 50 тысяч человек работали с моделями без блокирующих классификаторов почти год. Благонадёжность этих людей проверяли сами подрядчики по своим процедурам, которые Anthropic не контролировала.
5
У команды было десять метрик и ни одного ответа на вопрос, какую долю обращений агент закрывает. Разрыв объясняется тем, что текстовая проверка считала правдоподобный ответ верным и не отличала выполненное действие от рассказа о нём: агент писал, что заявка создана, и судья это принимал. Формулу вердикта после сравнения переделывали дважды.
6
Цена в новом прайсе зависит от времени суток, и весь счёт определяет дневное окно с 10:00 до 13:00 по Москве — самое дорогое. У автора часть нагрузки пакетная и сдвигается по времени, поэтому вопрос был прикладной: насколько и куда двигать запросы, чтобы попасть в дешёвые часы.
7
Проверка шла на наборе RAGTruth, и сам вывод про пользу консенсуса подтвердился — голосование шести судей точнее любого одиночного. Но судьи из четырёх лабораторий и трёх стран ошибаются в одних и тех же местах, так что добавление ещё одного вендора почти не расширяет обзор.
8
Карты сделали в 2021 году на чипе от A100: памяти 8 или 10 гигабайт, арифметика урезана, но пропускная способность памяти оставлена полной — майнингу нужна была именно она. После перехода Ethereum на другой алгоритм карты стали бесполезны, а в конце июня появилась работа, показавшая, что выдача токенов моделью упирается как раз в пропускную способность памяти, а не в арифметику.

Основные понятия

Обучение с подкреплением: Дообучение модели на её собственных ответах с наградой за верный результат — именно этим этапом обычно объясняют рост в рассуждениях и умении пользоваться инструментами.
Preparedness Framework: Внутренняя шкала OpenAI, по которой модель оценивают на опасные возможности; уровень Critical означает, что способность требует мер до выпуска.
Классификатор-фильтр: Отдельная модель на входе и выходе, которая блокирует опасные запросы и ответы — например про химическое и биологическое оружие.
Модель-судья: Языковая модель, которую ставят оценивать ответы другой модели вместо человека; её вердикт зависит от того, что ей дали посмотреть — только текст или ещё и фактические действия.
Пропускная способность памяти: Скорость, с которой чип читает данные из памяти; при выдаче токенов языковой моделью узкое место чаще здесь, а не в арифметике.