MoE预训练新法降低All-to-All开销
热点事件持续更新
MoE预训练新法降低All-to-All开销
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Radha Gulhane等作者发表论文，提出相关专家放置与token重排两种方法，用于降低MoE预训练中的All-to-All通信开销。其思路是利用路由器早期已学会以相关模式分配token这一现象，把常被同时选中的专家放到同一GPU，并让每个token只向每个GPU发送一次，最多减少58%的dispatch行。 作者称，在每节点8块AMD Instinct MI300X GPU的集群上，EP32配top-2路由时该通信可占训练步的45%，top-6路由时占60%；在Megatron-LM中，EP度数8至64、top-2与top-6路由下，两种方法使all-to-all时间减少1.16至2.63倍，端到端步时最多减少1.41倍。两种方法均不改变模型的路由决策或专家参数。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 12:00
MoE 预训练中的专家耦合：用相关放置与 Token 重排降低 All-to-All 开销报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv cs.CLMoE 预训练中的专家耦合：用相关放置与 Token 重排降低 All-to-All 开销
MoE 预训练中路由器在早期就已学会以相关模式分配 token，研究者据此提出相关专家放置与 token 重排两种方法，将常被同时选中的专家放到同一 GPU，并让每个 token 只向每个 GPU 发送一次，最多减少 58% 的 dispatch 行。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。