arXiv cs.AI· Yaoxiang Wang, Kai Zhang, Ruobing Xie, Lanrui Wang, Guoliang Zhao, Junhui Li, Jinsong Su·· 8 小时前AI 评分22
LatentMoE：从专家几何到逐层容量分配的 MoE 设计
Shaping Latent Mixture-of-Experts: From Expert Geometry to Layerwise Capacity Allocation
AI 导读
LatentMoE 将专家计算移入低维空间，使专家输入维度与中间宽度成为显式设计选项，并证明专家局部 Jacobian 秩由这两个维度共同约束，在单专家参数量固定时二者均衡可最大化秩上限。
来源：arXiv cs.AI · arxiv.org