MoE粒子Transformer路由与容量研究
热点事件持续更新
MoE粒子Transformer路由与容量研究
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
一项新研究在188类JetClass-II数据集上对比了稠密与MoE粒子Transformer，考察专家数量、路由容量、top-K和辅助损失的影响。研究发现，在避免token dropping时，top-1 MoE在标称前向计算几乎不变的情况下优于稠密基线，但继续增加存储专家数量带来的精度提升很小。 每token激活多个专家可进一步提升预测性能，代价是计算成本更高。路由分析显示，专家分配与粒子身份和运动学特征的关联并不随分类性能单调增强。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 12:00
MoE Particle Transformer 在 JetClass-II 上的条件容量与路由研究报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv cs.LGMoE Particle Transformer 在 JetClass-II 上的条件容量与路由研究
研究在 188 类 JetClass-II 上对比稠密与 MoE Particle Transformer，发现避免 token dropping 时 top-1 MoE 在标称前向计算几乎不变的情况下优于稠密基线，继续增加存储专家数量带来的精度提升很小。每 token 激活多个专家可进一步提升预测性能，但计算成本更高。路由分析显示专家分配与粒子身份和运动学特征的关联并不随分类性能单调增强。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。