arXiv cs.LG· Junkang Liu·· 1 天前AI 评分18
MuLoRA：面向持续学习的谱平衡低秩适配方法
MuLoRA: Spectrally Balanced Low-Rank Adaptation for Continual Learning
AI 导读
针对 LoRA 在持续学习中出现的"谱可塑性崩溃"问题，研究者提出 MuLoRA，通过历史白化与动量更新的近似极正交化，联合控制低秩空间的容量分配与利用。在五个类增量基准、八种增量设置共 16 项指标中，MuLoRA 在其中 15 项取得最高平均准确率。
来源：arXiv cs.LG · arxiv.org