跳到正文
arXiv cs.AI· Yiyang Fu, Zihao Huang, Dongchen Han, Shukai Gong, Zhen Dong, Qiyang Min, Daquan Zhou·· 8 小时前AI 评分31

Multi-Ratio ConceptMoE:单一模型支持多计算预算,跨轮次灵活分配算力

One Model, Multiple Compute Budgets: Multi-Ratio ConceptMoE for Flexible Compute Across Turns

AI 导读

Multi-Ratio ConceptMoE 在共享骨干内同时支持 2、4、8 三种 token-to-concept 压缩比(CR2/CR4/CR8),让单一模型可按轮次灵活分配算力。

来源:arXiv cs.AI · arxiv.org