arXiv cs.LG· Yu Sun, Junwei Zhou, Zuodong Xiang, Yike Zhang, Pengcheng Xu, Xinyu Guan, Ruoyun Ma, Hailu Xu·· 7 小时前AI 评分17
研究：在 LoRA B 矩阵上，静态梯度归因在基于损失的遗忘上不如密度匹配的随机掩码
Static Gradient Attribution Underperforms a Density-Matched Random Mask on Loss-Based Forgetting Within LoRA B-Matrix
AI 导读
在零初始化 LoRA（B=0）下，对 A 的梯度恒为零，导致梯度掩码只从 B 矩阵选参数，而无限制随机掩码同时从 A、B 抽取，二者存在参数池混淆。将两种方法限制在同一参数池后，在 Qwen2.5-3B 上七个随机种子中，均匀随机掩码的基于损失的后向迁移始终优于梯度归因，效应主要来自医疗任务（占总体 80%），代码与数学同向，法律任务无可靠差异。
来源：arXiv cs.LG · arxiv.org