跳到正文
arXiv · ML· Yibo Huang, Yi Cui, Yukai Huang, Huaping Zhou, Jiancong Tong, Zhaoyu Wu, Gen Miao, Haoran Wei, Boyan Ding, Zhuo Jiang, Jianxi Ye, Yibo Zhu, Chuanxiong Guo, Yang Xu, Jie Wu·· 2026-10-12AI 评分21

字节跳动 ByteExpress:基于 RDMA 的大规模分布式推理与训练系统部署经验

Deploying RDMA for Distributed Inference and Training At Scale

AI 导读

字节跳动在参数服务器系统中部署软件通信层 ByteExpress,基于硬件 RDMA 解决可变消息与突发入站通信难题。 在推理场景中,ByteExpress 将平均及 P99 模型参数获取延迟分别降低 35.7% 和 43.7%,CPU 总使用量减少 10.69%。 训练场景下 P99 参数推送延迟相比 TCP 最多降低 74.0%,运行时无 PFC 暂停。

来源:arXiv · ML · arxiv.org