arXiv cs.AI· Zhiqiang Pang, Zihong Sun, Qi Xie, Jun Shu, Deyu Meng, Zongben Xu·· 3 小时前AI 评分24
LS-LoRA：按层选择微调位置以兼顾任务适配与能力保留
Where to Adapt Matters: Layer-Selective Fine-Tuning for Capability Retention
AI 导读
研究者提出 Layer-Selective LoRA（LS-LoRA），仅将可训练 LoRA 适配器放入输入—输出余弦相似度较低的 Transformer 层，用这种前向计算即可得到的轻量指标替代需要反向计算的 Fisher 信息来排序层敏感度。在数学推理和代码生成任务上，LS-LoRA 的平均目标任务表现优于标准全层 LoRA，同时保留了明显更多的常识推理能力。
来源：arXiv cs.AI · arxiv.org