研究比较六种PEFT方法的功能差异

Yikuan Li 等作者发表研究，对比 LoRA、DoRA、PiSSA、OFT 等六种参数高效微调（PEFT）方法在语言模型与扩散模型上的表现，考察各方法的参数化方式与任务性能、遗忘以及预训练权重几何变化之间的关系。 研究发现，LoRA 系列方法也近似保持预训练权重的几何结构；在恢复其轻微漂移的奇异值谱后，任务性能基本不变。作者据此质疑显式几何保持是否必要。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。