Профессор ставит на то, что трансформер устареет в течение трёх лет

Эндрю Гордон Уилсон, профессор Нью-Йоркского университета, публично заявил: в течение трёх лет появится архитектура, которая сделает трансформер устаревшим. Трансформер — схема, на которой построены практически все нынешние языковые модели.

В той же ленте Йоав Голдберг возражает по смежному поводу: идея «когнитивного ядра» — небольшой модели, обученной на умеренном объёме данных, — уже пробовалась, и трансформеры на средних данных работали посредственно; вся сила пришла именно от огромных корпусов. Спор идёт без экспериментов, на уровне прогнозов и прошлого опыта.

Andrew Gordon Wilson@andrewgwils

We will have an architecture that obsoletes the transformer within the next three years.

50518 августа 2026