Модель обучили только на текстах уровня пятого класса

Проект LittleLearner проверял, что будет, если языковая модель никогда не увидит текста сложнее школьного: корпус для обучения ограничили материалами примерно до пятого класса. Идея — понять, сколько в способностях моделей идёт от объёма данных, а сколько от их сложности.

Модель осваивает грамматику и связную речь, но упирается в потолок там, где нужны понятия, которых в корпусе не было: рассуждение по нескольким шагам и специальная лексика не появляются сами. Авторы выложили и сам корпус, и результаты замеров.

В обсуждении сравнивают это с человеческим обучением и спорят, корректна ли аналогия: ребёнок помимо книг видит мир, а модель — только текст.