Российские исследователи представили SimplexLoRA — метод дешевле дообучать модели

Исследователи Т-Технологий, МФТИ, Сбера и Иннополиса представили на конференции EMNLP метод SimplexLoRA — способ дешевле подгонять языковую модель под конкретную задачу. В обычной LoRA основные веса модели не трогают, а обучают небольшие дополнительные модули-адаптеры, одинаковые по размеру для всех слоёв.

SimplexLoRA распределяет бюджет обучаемых параметров между слоями неравномерно — с учётом того, насколько слой важен для задачи. Общее число обучаемых параметров при этом не растёт, меняется только их раскладка.