跳到正文
arXiv cs.AI· Suoxin Zhang, Run He, Di Fang, Xiang Tan, Kaixuan Chen, Huiping Zhuang·· 14 小时前AI 评分30

重新思考 LoRA 适配器放置位置:DomLoRA 提出主导适配模块视角

Rethinking Adapter Placement: A Dominant Adaptation Module Perspective

AI 导读

研究者提出 PAGE(Projected Adapter Gradient Energy)梯度敏感度探测方法,发现 LoRA 适配器的可训练梯度能量高度集中在单个浅层 FFN 下投影模块上,并将其称为"主导适配模块"。

来源:arXiv cs.AI · arxiv.org