arXiv cs.LG· Shoichiro Takeda, Shin'ya Yamaguchi, Satoshi Suzuki, Yasunori Akagi·· 10 小时前AI 评分22
面向 LoRA 的黎曼几何：一种新的预条件度量
A Riemannian Geometry for Low-rank Adaptation
AI 导读
研究者提出一种专为 LoRA 定制的新黎曼度量，利用 $(B, A) \sim (BG^{-1}, AG^\top)$ 等价关系诱导的商流形，在每次梯度步引入预条件。理论上证明该预条件使 LoRA 的权重更新方向最接近全量微调的梯度方向，且更新后权重矩阵在 Frobenius 范数上比常规预条件和无预条件更接近全量微调。语言与视觉领域的微调实验验证了其有效性与效率。
来源：arXiv cs.LG · arxiv.org