OpenAI опровергла слухи о нечитаемых рассуждениях будущей модели Astra

Главный научный сотрудник OpenAI Якуб Пахоцкий публично опроверг слухи о том, что мысли будущей модели Astra станут нечитаемыми. Поводом стала статья The Information: издание описало Astra как «зацикленный трансформер» с рекуррентной глубиной — модель прогоняет один и тот же текст через блоки по нескольку раз, вместо фиксированного числа слоёв.

Из этого читатели сделали вывод, что рассуждение уходит внутрь чисел и текстовой цепочки размышлений больше не будет. Пахоцкий ответил, что глубина вычислений у нынешних моделей OpenAI, включая Astra, отличается от GPT-4 не больше чем вдвое, и что компания сохраняет возможность следить за цепочкой рассуждений на человеческом языке.

Исследователи в ленте добавили, что приём не новый: зацикленные трансформеры описаны ещё в работах 2019 года и в основном экономят параметры, а не создают новый тип мышления.

Jakub Pachocki@merettm

I want to prevent a race into unmonitorability kicked off by confused reporting. The depth of the computation graph for our present frontier models, including Astra, is within a factor of two of GPT-4. OpenAI has worked to preserve and utilize chain-of-thought monitoring since

5 9582 сентября 2026