arXiv cs.LG· Xiaoyu Li, Zhizhou Sha, Chiwun Yang, Dai Shi·· 7 小时前AI 评分22
参数高效微调的范畴图谱：锥、轨道与规范
A Categorical Atlas of Parameter-Efficient Fine-Tuning: Cones, Orbits, and Gauges
AI 导读
研究者将参数高效微调方法视为从预训练权重出发的平滑映射，用像、纤维与基变换三个不变量统一比较数百种方法。他们证明零初始化 LoRA 与 Householder 反射适配从锥的顶点出发，LoRA 无法达到超过自身秩两倍的更新，并证明在无 epsilon、无权重衰减与裁剪的 Adam 下，LoRA+ 轨迹等价于缩放后的普通 LoRA。
来源：arXiv cs.LG · arxiv.org