提出层选择LoRA微调方法LS-LoRA
热点事件持续更新
提出层选择LoRA微调方法LS-LoRA
1 篇报道1 个报道来源2 小时前更新
先了解这件事
报道摘要
研究者提出 Layer-Selective LoRA（LS-LoRA），仅将可训练 LoRA 适配器放入输入—输出余弦相似度较低的 Transformer 层，用这种前向计算即可得到的轻量指标替代需要反向计算的 Fisher 信息来排序层敏感度。在数学推理和代码生成任务上，LS-LoRA 的平均目标任务表现优于标准全层 LoRA，同时保留了明显更多的常识推理能力。
摘自 arXiv cs.AI
最新进展10月9日 12:00
LS-LoRA：按层选择微调位置以兼顾任务适配与能力保留报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv cs.AILS-LoRA：按层选择微调位置以兼顾任务适配与能力保留
研究者提出 Layer-Selective LoRA（LS-LoRA），仅将可训练 LoRA 适配器放入输入—输出余弦相似度较低的 Transformer 层，用这种前向计算即可得到的轻量指标替代需要反向计算的 Fisher 信息来排序层敏感度。在数学推理和代码生成任务上，LS-LoRA 的平均目标任务表现优于标准全层 LoRA，同时保留了明显更多的常识推理能力。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。