跳到正文
热点事件持续更新

MARS:自适应秩搜索优化MLLM微调

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

Minkyoung Cho 等作者提出 MARS(多模态自适应秩搜索),通过搜索最优 LoRA 秩对来平衡多模态大模型微调中各模态的训练动态。 该方法的核心是双缩放定律框架:一个定律建模模块收敛时间以剪枝搜索空间,另一个预测最终任务性能以选出最优秩对。MARS 将 LoRA 秩用作模态收敛速度的控制器。作者称其性能优于基线方法。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv cs.LG
    MARS:通过自适应秩搜索协调多模态收敛

    研究者提出 MARS(Multimodal Adaptive Rank Search),通过搜索最优 LoRA 秩对来平衡多模态大模型微调中各模态的训练动态。其核心是双缩放定律框架:一个定律建模模块收敛时间以剪枝搜索空间,另一个预测最终任务性能以选出最优秩对。MARS 将 LoRA 秩用作模态收敛速度的控制器,性能优于基线方法。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。