LatentLoop：非对称计算分配的循环MoE模型
热点事件持续更新
LatentLoop：非对称计算分配的循环MoE模型
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
Zefeng He 等作者提出 LatentLoop，一种循环 MoE 架构：模型第一次循环时压缩序列，第二次保留全分辨率，并把节省下来的算力用于增大隐藏层维度。作者称，在 1.3B–7B 参数、最大预算超 10^21 FLOPs 的 15 种配置中，拟合 NLL 为 1.988 时，该架构相对原生 MoE 和循环基线分别节省 19.0% 和 7.9% 算力，并在九项基准的 0-shot 与 5-shot 设置下全面提分。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
LatentLoop：用非对称计算分配扩展循环 MoE 模型报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv cs.LGLatentLoop：用非对称计算分配扩展循环 MoE 模型
LatentLoop 通过压缩循环 MoE 模型第一次循环的序列、在第二次保留全分辨率，并将节省的算力转给隐藏层维度，从而降低验证 NLL。在覆盖 1.3B–7B 参数、最大预算超 10^21 FLOPs 的 15 种配置中，拟合 NLL 为 1.988 时相对原生 MoE 和循环基线分别节省 19.0% 和 7.9% 算力，并在九项基准的 0-shot 与 5-shot 设置下全面提分。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。