研究者提出参数高效微调范畴化分类框架

Xiaoyu Li、Zhizhou Sha、Chiwun Yang、Dai Shi 发表论文，提出用范畴化框架统一比较参数高效微调方法。他们把预训练权重视为权重空间中的基点，将微调方法视为从一个小参数空间出发、以该点为起点的平滑映射，并用像、纤维与基变换三个不变量来比较数百种方法。 论文给出的结论包括：零初始化 LoRA 与 Householder 反射适配从锥的顶点出发；LoRA 无法达到超过自身秩两倍的更新；在无 epsilon、无权重衰减与裁剪的 Adam 下，LoRA+ 轨迹等价于缩放后的普通 LoRA。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。