Модель в десять раз меньше догнала крупную на разборе судебных документов

Автор Хабра обучил Qwen2.5-1.5B извлекать сущности из судебных документов — имена, даты, номера дел — и получил качество почти на уровне модели Ministral 3 14B, которая почти в десять раз больше. Макро-F1, усреднённая по типам сущностей точность, составила 0,70 против 0,71 у крупной модели на 145 реальных документах.

Причина браться за маленькую модель бытовая: юристы не могут отправлять материалы дел во внешние API, а держать под разбор документов видеокарту A100 дорого. Маленькая модель помещается на A5000 и разбирает документы ощутимо быстрее.