研究者提出面向LoRA的黎曼几何预条件方法

研究者 Shoichiro Takeda 等人提交论文，提出一种专为 LoRA 定制的新黎曼度量，在每次梯度步引入预条件，以缩小 LoRA 与全量微调在权重层面的差距。 该方法利用 (B, A) ∼ (BG⁻¹, AGᵀ) 等价关系诱导的商流形。作者称，理论上该预条件使 LoRA 的权重更新方向最接近全量微调的梯度方向，且更新后权重矩阵在 Frobenius 范数上比常规预条件和无预条件更接近全量微调；语言与视觉领域的微调实验验证了其有效性与效率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。