arXiv cs.LG· Minkyoung Cho, Insu Jang, Shuowei Jin, Zesen Zhao, Adityan Jothi, Ethem F. Can, Min-Hung Chen, Z. Morley Mao·· 7 小时前AI 评分22
MARS：通过自适应秩搜索协调多模态收敛
MARS: Harmonizing Multimodal Convergence via Adaptive Rank Search
AI 导读
研究者提出 MARS（Multimodal Adaptive Rank Search），通过搜索最优 LoRA 秩对来平衡多模态大模型微调中各模态的训练动态。其核心是双缩放定律框架：一个定律建模模块收敛时间以剪枝搜索空间，另一个预测最终任务性能以选出最优秩对。MARS 将 LoRA 秩用作模态收敛速度的控制器，性能优于基线方法。
来源：arXiv cs.LG · arxiv.org