Исследователи доказали, что разные модели сходятся к похожим представлениям

Статья «Proving and Improving the Platonic Representation Hypothesis with JEPAs» вышла в топ Hugging Face Daily Papers и набрала 111 очков на Hacker News. Гипотеза платоновских представлений утверждает, что разные модели, обученные на разных данных и задачах, сходятся к похожему внутреннему устройству представлений о мире.

Авторы берут архитектуру JEPA, где модель предсказывает не сами данные, а их сжатое представление, и показывают на ней это схождение формально. Из доказательства они выводят практическую часть: изменения в обучении, которые делают представления ближе к общему виду.