arXiv cs.LG· Wenjuan Zhu, Zheming Yang, Yunqing Hu, Qi Guo·· 7 小时前AI 评分22
MHR-Router:面向 VLM 推理的多模态异构检索增强自适应路由
MHR-Router: Multimodal Heterogeneous Retrieval-Enhanced Adaptive Routing for VLM Inference
AI 导读
MHR-Router 是一个面向 VLM 推理的多模态异构检索增强自适应路由框架,通过本地检索证据将每个多模态查询精准分派给最合适的 VLM 专家。该框架分两阶段:多模态路由表示融合冻结的多模态特征生成查询表示;异构检索增强自适应路由检索专家专属的成功与失败记忆作为本地证据,并用共享打分器自适应选择最优专家。实验显示其能有效实现异构模态路由,并持续优于传统基线。
来源:arXiv cs.LG · arxiv.org