Исследователи дообучили языковую модель, просто обнулив часть её весов

Исследователи из нескольких университетов показали, что языковую модель можно дообучать, не меняя веса, а просто обнуляя часть из них. Работа называется «The Surprising Effectiveness of Deleting Weights in LLM Post-Training».
Обычное дообучение подстраивает миллиарды чисел внутри модели. Здесь вместо этого отбирается небольшое подмножество весов, которые ставят в ноль, — и этого хватает, чтобы модель лучше решала целевую задачу. Авторы выложили код, страницу проекта и получившуюся модель на Hugging Face.
Практический смысл в том, что результат дообучения описывается списком удалённых весов, а не новым набором чисел — такой «патч» гораздо компактнее.