arXiv cs.LG· Yikuan Li, Pinyan Lu, Fanghui Liu·· 6 小时前AI 评分22
参数高效微调方法真的不同吗？六种 PEFT 方法在语言与扩散模型上的对比研究
Are Parameter-Efficient Fine-tuning Methods Really Different?
AI 导读
研究对比 LoRA、DoRA、PiSSA、OFT 等六种 PEFT 方法在语言与扩散模型中的表现，发现 LoRA 系列方法也近似保持预训练权重几何，恢复其轻微漂移的奇异值谱后任务性能基本不变，质疑显式几何保持的必要性。
来源：arXiv cs.LG · arxiv.org