Стэнфорд предложил строить текст понятиями, а не словами — на малых моделях лучше

Исследователи из Стэнфорда предложили Next-Concept Modeling — способ порождать текст не по одному слову за раз, а иерархией понятий от грубого к точному. Авторы — группа Кристофера Мэннинга и Азалии Мирхосейни.

Сейчас языковые модели работают авторегрессионно: предсказывают следующий кусок текста по предыдущим, строго по очереди. Предложенная схема сначала намечает последовательность концептов, а затем разворачивает их в слова сразу все вместе — это снимает главное ограничение по скорости.

Проверяли пока только на малых размерах, но там модель ведёт себя лучше и авторегрессионных, и диффузионных вариантов. Переносится ли это на большие модели, из работы не следует.