Amazon Science объяснила, почему ИИ-агенты не подгоняют решение под проверку

Amazon Science разобрала, почему агенты для машинного обучения — модели, которые сами ставят эксперименты и подбирают решение, — редко переобучаются под проверочную выборку. Переобучение здесь означает, что агент подгоняет решение под конкретный набор задач и на новых данных проваливается.

По наблюдениям исследователей, агент делает мало попыток на одной задаче и меняет подход целиком, а не крутит гиперпараметры до победы, — поэтому у него меньше шансов угадать под проверочный набор. Отдельная работа той же лаборатории разбирает второй случай: когда несколько моделей-судей согласны между собой, это не означает, что они правы, — согласие может идти от общих для них слепых пятен.