arXiv cs.LG· Yibo Huang, Yi Cui, Yukai Huang, Huaping Zhou, Jiancong Tong, Zhaoyu Wu, Gen Miao, Haoran Wei, Boyan Ding, Zhuo Jiang, Jianxi Ye, Yibo Zhu, Chuanxiong Guo, Yang Xu, Jie Wu·· 7 小时前AI 评分22
字节跳动在参数服务器推理与训练系统中部署 RDMA 通信层 ByteExpress 的实践经验
Deploying RDMA for Large-Scale Inference and Training Workloads
AI 导读
字节跳动在基于参数服务器的推理与训练系统中部署了硬件 RDMA 之上的软件通信层 ByteExpress。生产推理中，相比内核 TCP，其模型参数拉取平均延迟和 P99 延迟分别降低 35.7% 和 43.7%，CPU 总占用降低 10.69%；训练中参数推送 P99 延迟最高降低 74.0%，运行时未观察到 PFC 暂停。
来源：arXiv cs.LG · arxiv.org