arXiv cs.LG· Xi Zhang, Boyu Diao, Zesen Chen, Ruiqi Liu, Hangda Liu, Yongjun Xu·2026-10-12 12:00· 7 小时前AI 评分22

Monarch-MoE：面向多模态持续指令微调的结构化专家

Monarch-MoE: Structured Experts for Multimodal Continual Instruction Tuning

AI 导读

Monarch-MoE 用块对角因子加固定置换替换 LoRA 专家中的稠密因子，实现块级梯度隔离，在 MLLM-DCL 和 UCIT 上以 LLaVA-1.5-7B 评测时分别减少约 75% 和 50% 的适配器参数，首任务遗忘低至 0.52 和 0.10 个百分点。该方法支持在单张 24 GB RTX 4090 上完成微调与推理，实测显存占用更低、运行时间具竞争力。

来源：arXiv cs.LG · arxiv.org

多模态数据与训练论文研究 #论文/研究 #多模态 #数据/训练