MoEMB:用MoE扩展通用多模态嵌入模型
热点事件持续更新
MoEMB:用MoE扩展通用多模态嵌入模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
报道摘要
MoEMB 通过混合专家(MoE)沿专家轴扩展通用多模态嵌入,在保持单向量、非自回归编码的同时提升编码器容量。仅用 3B 激活参数,MoEMB 在 MMEB-V2 和 MRMR 上超越激活参数超 4 倍的 TTE 类方法,且计算量显著更少。研究还首次系统考察了 MoE 嵌入的自适应计算,涵盖基于训练与仅推理的多种策略。
摘自 arXiv cs.LG
最新进展10月9日 12:00
MoEMB:用高效混合专家模型扩展通用多模态嵌入报道时间线
沿着报道,了解事件的不同侧面。
10月9日
- arXiv cs.LGMoEMB:用高效混合专家模型扩展通用多模态嵌入
MoEMB 通过混合专家(MoE)沿专家轴扩展通用多模态嵌入,在保持单向量、非自回归编码的同时提升编码器容量。仅用 3B 激活参数,MoEMB 在 MMEB-V2 和 MRMR 上超越激活参数超 4 倍的 TTE 类方法,且计算量显著更少。研究还首次系统考察了 MoE 嵌入的自适应计算,涵盖基于训练与仅推理的多种策略。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。