arXiv · AI· Congjie He, Le Xu, Zhan Lu, Yeqi Huang, Haocheng Xiao, Cheng Deng, Lingxiao Ma, Ziming Miao, Fan Yang, Luo Mai·· 11 天前AI 评分31
MeshRT:通过编译时间治理实现晶圆级低延迟高吞吐 LLM 推理运行时
MeshRT: Compile-Time Governed Wafer-Scale Runtime for Low-Latency High-Throughput Inference
AI 导读
MeshRT 是首个在晶圆级加速器上同时实现超低延迟和高吞吐 LLM 推理的系统。 其核心是通过“编译时间治理运行时动态性”架构,将 LLM 推理中的动态事件直接编译为每核心调度计划。在商用晶圆级加速器上,吞吐量比现有最先进系统提升最高 56 倍,且延迟比 H200 上 SGLang 测量值低 4.5-7.0 倍。
来源:arXiv · AI · arxiv.org