arXiv cs.LG· Zefeng He, Yunkai Chai, Xiaoyang Chen, Tong Zhu, Zongliang Wu, Yun Luo, Yafu Li, Yu Cheng·· 7 小时前AI 评分24
LatentLoop：用非对称计算分配扩展循环 MoE 模型
LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation
AI 导读
LatentLoop 通过压缩循环 MoE 模型第一次循环的序列、在第二次保留全分辨率，并将节省的算力转给隐藏层维度，从而降低验证 NLL。在覆盖 1.3B–7B 参数、最大预算超 10^21 FLOPs 的 15 种配置中，拟合 NLL 为 1.988 时相对原生 MoE 和循环基线分别节省 19.0% 和 7.9% 算力，并在九项基准的 0-shot 与 5-shot 设置下全面提分。
来源：arXiv cs.LG · arxiv.org