Автор Хабра дообучил модель под Rust, и она обошла модели втрое крупнее

Автор Хабра дообучил Temper 0.5B — модель на 0,5 млрд параметров на базе Qwen2.5-Coder-0.5B-Instruct, заточенную под язык Rust. Цель была проверить, что может крошечная модель в узкой задаче.

По замерам автора узкая специализация позволила обойти модели крупнее — вплоть до втрое большего числа параметров. Сравнение шло с универсальными моделями того же и большего размера на задачах по Rust. Это одиночный эксперимент, а не промышленный результат, но он показывает, где граница полезности маленькой дообученной модели.