研究者提出弹性专家路由方法
热点事件持续更新
研究者提出弹性专家路由方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Yunkai Chai 等研究者提出弹性专家路由（Elastic Expert Routing）方法，用于缓解稀疏混合专家模型（MoE）中静态 top-k 路由的问题：静态 top-k 会把连续的路由分布变成刚性阶跃函数。 该方法从以 k 为中心的局部离散分布中随机采样活跃专家预算，在保持推理预算的同时，匹配确定性训练的期望计算成本。相关论文发布在 arXiv cs.LG。
AI 根据报道生成 · 1 小时前更新
最新进展10月9日 12:00
平滑稀疏 MoE 的 Top-k 专家边界：Elastic Expert Routing 提出报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv cs.LG平滑稀疏 MoE 的 Top-k 专家边界：Elastic Expert Routing 提出
针对稀疏 MoE 中静态 top-k 路由将连续路由分布变成刚性阶跃函数的问题，研究者提出 Elastic Expert Routing，从以 k 为中心的局部离散分布中随机采样活跃专家预算，在保持推理预算的同时匹配确定性训练的期望计算成本。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。