跳到正文
arXiv cs.AI· Keyvan Dadashzadeh, Yuehong Zhou, Minyu Cui, Miquel Pericas·· 9 小时前AI 评分27

T-CCL:基于 Tensor Memory Accelerator 的资源高效集合通信库

T-CCL: Resource Efficient and Performant Collective Communication using Tensor Memory Accelerator

AI 导读

T-CCL 是一个基于 Tensor Memory Accelerator(TMA)的节点内集合通信库,将数据搬运与归约操作卸载到 TMA,以流水线式异步 TMA 操作执行集合通信,在保持高带宽的同时降低 SM 资源占用。

来源:arXiv cs.AI · arxiv.org