arXiv · AI· Keyvan Dadashzadeh, Yuehong Zhou, Minyu Cui, Miquel Pericas·· 2026-10-07AI 评分31
T-CCL:基于 Tensor Memory Accelerator 的资源高效集合通信库
T-CCL: Resource Efficient and Performant Collective Communication using Tensor Memory Accelerator
AI 导读
T-CCL 利用 TMA 卸载数据移动和归约操作,在受限资源下比 NCCL 快 3.42 倍,且占用更少 SM 资源。 该库支持 AllReduce 等通信操作,并与 GEMM 重叠执行时提升 4-GPU 场景算子速度至 1.14 倍。 集成到 vLLM 作为通信后端后,端对端推理吞吐量比自动调度提升最高 1.31 倍。
来源:arXiv · AI · arxiv.org