Аналитик сравнил модели кредитного скоринга: важно число дефолтов, а не объём данных

Аналитик сравнил две модели кредитного скоринга — TabPFN-2.5 и CatBoost — на 3 млн обезличенных банковских заявок и выяснил, что качество определяется числом дефолтов в обучающих данных, а не общим размером выборки.
При одинаковом количестве реальных невозвратов увеличение выборки в 25 раз почти не меняло ROC AUC — показатель того, насколько хорошо модель отделяет надёжных заёмщиков от проблемных. Всего в разборе 60 экспериментов.
Практический итог: пятьсот дефолтов в данных полезнее пятидесяти тысяч заявок, среди которых невозвратов почти нет.