arXiv · AI· Maximilian Th\"urmer, Nicolas Scotto di Perto, Eloise Stein, Natanijel Vasic, Mikaeil Bagherli, Zhenguo Wu, Benjamin Klenk, Holger Fr\"oning, Johannes Feldmann·· 8 小时前AI 评分21
面向可扩展 LLM 推理解码的负载静态光电路交换
Workload-Static Optical Circuit Switching For Scalable LLM Inference Decode
AI 导读
针对 LLM 推理解码中通信结构固定的特点，提出负载静态光电路交换（OCS），将电路配置与模型并行化协同设计。 基于 GXNET 模拟器在 576 加速器域评估 5T 参数 MoE 模型，全 OCS 架构较 4:1 超配包交换网络交互性提升 65%，能效提升 119%。
来源：arXiv · AI · arxiv.org