ReGRA：残差梯度低秩微调方法

研究者 Fanyao Li 等提出两阶段低秩微调方法 ReGRA，在固定秩预算下更充分地利用低秩适配能力。第一阶段更新后，ReGRA 在校准集上估计任务梯度，去除其在已学双侧子空间上的投影，再用残差梯度方向初始化第二阶段适配器，并以正交正则鼓励两次更新捕捉互补方向。 两次更新可合并进预训练权重，不增加推理开销。据该研究，在多个基准上，ReGRA 性能优于同等总秩的方案，甚至可媲美秩为其两倍的 LoRA 适配器。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。