研究：LoRA遗忘中随机掩码优于梯度归因
热点事件持续更新
研究：LoRA遗忘中随机掩码优于梯度归因
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
一项研究比较了LoRA微调中的参数选择方法，结论是：在基于损失的遗忘任务上，均匀随机掩码的效果优于梯度归因掩码。 研究者指出，此前比较存在参数池混淆：在零初始化LoRA（B=0）下，对A矩阵的梯度恒为零，梯度掩码只能从B矩阵选参数，而随机掩码可同时从A、B抽取。将两种方法限制在同一参数池后，在Qwen2.5-3B上七个随机种子中，均匀随机掩码的基于损失的后向迁移始终优于梯度归因。 该效应主要来自医疗任务（占总体80%），代码与数学任务同向，法律任务无可靠差异。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
研究：在 LoRA B 矩阵上，静态梯度归因在基于损失的遗忘上不如密度匹配的随机掩码报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv cs.LG研究：在 LoRA B 矩阵上，静态梯度归因在基于损失的遗忘上不如密度匹配的随机掩码
在零初始化 LoRA（B=0）下，对 A 的梯度恒为零，导致梯度掩码只从 B 矩阵选参数，而无限制随机掩码同时从 A、B 抽取，二者存在参数池混淆。将两种方法限制在同一参数池后，在 Qwen2.5-3B 上七个随机种子中，均匀随机掩码的基于损失的后向迁移始终优于梯度归因，效应主要来自医疗任务（占总体 80%），代码与数学同向，法律任务无可靠差异。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。