Автор книг по ИИ Себастьян Рашка разобрал GPT-6 Astra — часть рассуждений скрыта

Себастьян Рашка, автор книг по машинному обучению, разобрал устройство GPT-6 Astra и связанный с ней приём — зацикленные трансформеры. Идея в том, что модель прогоняет один и тот же блок слоёв по кругу несколько раз вместо того, чтобы наращивать глубину новыми слоями: считается больше, а вес модели не растёт.

Отдельный вопрос разбора — прячет ли такая схема ход рассуждений. При обычной цепочке рассуждений шаги видны текстом, при повторных проходах часть вычислений остаётся внутри и наружу не выходит. Рашка разбирает, чем это оплачивается по времени ответа, и приводит недавние работы по зацикленным трансформерам.

Sebastian Raschka@rasbt

I put together a mega write-up on GPT-6 Astra & looped transformers. How looped transformers / recurrent depth works, cost-tradeoffs, whether it hides reasoning traces, with lots of figures and a tour of recent looped transformer research. https://t.co/VR6HaPFVXH

1 5139 сентября 2026