Яндекс.Метрика
← Дайджест от 16 ноября 2026

Исследователи дообучили языковую модель, просто обнулив часть её весов

Исследователи из нескольких университетов показали, что языковую модель можно дообучать, не меняя веса, а просто обнуляя часть из них. Работа называется «The Surprising Effectiveness of Deleting Weights in LLM Post-Training».

Обычное дообучение подстраивает миллиарды чисел внутри модели. Здесь вместо этого отбирается небольшое подмножество весов, которые ставят в ноль, — и этого хватает, чтобы модель лучше решала целевую задачу. Авторы выложили код, страницу проекта и получившуюся модель на Hugging Face.

Практический смысл в том, что результат дообучения описывается списком удалённых весов, а не новым набором чисел — такой «патч» гораздо компактнее.