跳到正文
热点事件持续更新

MoEMB:用MoE扩展通用多模态嵌入模型

1 篇报道1 个报道来源2 小时前更新

先了解这件事

报道摘要

MoEMB 通过混合专家(MoE)沿专家轴扩展通用多模态嵌入,在保持单向量、非自回归编码的同时提升编码器容量。仅用 3B 激活参数,MoEMB 在 MMEB-V2 和 MRMR 上超越激活参数超 4 倍的 TTE 类方法,且计算量显著更少。研究还首次系统考察了 MoE 嵌入的自适应计算,涵盖基于训练与仅推理的多种策略。

摘自 arXiv cs.LG

报道时间线

沿着报道,了解事件的不同侧面。

10月9日
  1. arXiv cs.LG
    MoEMB:用高效混合专家模型扩展通用多模态嵌入

    MoEMB 通过混合专家(MoE)沿专家轴扩展通用多模态嵌入,在保持单向量、非自回归编码的同时提升编码器容量。仅用 3B 激活参数,MoEMB 在 MMEB-V2 和 MRMR 上超越激活参数超 4 倍的 TTE 类方法,且计算量显著更少。研究还首次系统考察了 MoE 嵌入的自适应计算,涵盖基于训练与仅推理的多种策略。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。