arXiv cs.LG· Ruwen Fan (Jimmy), Yuezhi Zu (Jimmy), Junru Li (Jimmy), Qingda Hu (Jimmy), Xinjun (Jimmy), Yang, Jiwu Shu, Youyou Lu·· 6 小时前AI 评分31
CoMoE：在消费级 GPU 上实现通信高效的 MoE 推理
Democratizing MoE inference on commodity GPUs with CoMoE
AI 导读
CoMoE 是一个面向消费级 GPU 的通信高效 MoE 推理系统，通过以主机为中心的 token 路由解决 PCIe 带宽受限和无 P2P 支持带来的通信瓶颈。
来源：arXiv cs.LG · arxiv.org