arXiv cs.AI· Maoqi Liu, Quan Fang, Yufei He·· 13 小时前AI 评分24
CoDe-LoRA：通过知识巩固与解耦缓解 LLM 持续学习中的正交性困境
CoDe-LoRA: Mitigating the Orthogonality Dilemma in Continual Learning of LLMs via Knowledge Consolidation and Decoupling
AI 导读
针对 O-LoRA 等正交投影方法在 LLM 持续学习中引发的"正交性困境"，研究者提出免回放方法 CoDe-LoRA，将学习过程解耦为通用知识巩固与任务专属知识分离，并借助自适应零空间投影与语义路由平衡知识积累和任务适配。在四个骨干模型和三个持续学习基准上，CoDe-LoRA 取得最佳平均准确率，论文已被 EMNLP 2026 主会接收，代码已开源。
来源：arXiv cs.AI · arxiv.org