arXiv cs.LG· Fanyao Li, Yuxi Liu, Xiaohao Liu, He Chang, Zhaoxin Wang, Zhulin Tao·· 7 小时前AI 评分22
ReGRA：用残差梯度适配实现互补低秩微调
ReGRA: Residual-Gradient Adaptation for Complementary Low-Rank Fine-Tuning
AI 导读
研究者提出两阶段微调方法 ReGRA，在固定秩预算下更充分地利用低秩适配能力。第一阶段更新后，ReGRA 在校准集上估计任务梯度并去除其在已学双侧子空间上的投影，再用残差梯度方向初始化第二阶段适配器，并以正交正则鼓励两次更新捕捉互补方向。两次更新可合并进预训练权重，不增加推理开销；在多个基准上，ReGRA 性能优于同等总秩的方案，甚至可媲美秩为其两倍的 LoRA 适配器。
来源：arXiv cs.LG · arxiv.org