Учёный Ян Лекун с соавтором показал, что способ обучения важнее размера модели

Рэндалл Балестриеро и Ян Лекун выложили работу о том, что модели выгоднее учить на «хороших ракурсах» — разных видах одного объекта, которые модель учится сближать между собой. Это подход JEPA, в противовес обучению с замаскированными словами или предсказанием следующего слова.

Авторы приводят доказательство гипотезы о том, что разные модели сходятся к похожему внутреннему представлению мира, и показывают следствие: при хорошем выборе ракурсов небольшая модель обходит крупную. Код и демонстрация выложены открыто.