arXiv · AI· Juan Parra-Ullauri, Anthony Chiu, Hari Madhukumar, Zhaozhou Wu, Anderson Bravalheri, Alex Healing, Andy Corston-Petrie, Dimitra Simeonidou, Nektaria Efthymiou·· 4 小时前AI 评分28
InferSlice: 电信广域网中 SLO 驱动的 LLM 推理参考架构
InferSlice: A Reference Architecture for SLO-driven LLM Inference over a Telco Wide-Area Network
AI 导读
BT 联合爱丁堡大学及 NVIDIA 提出 InferSlice 架构，将 SLO 驱动 LLM 推理整合于电信基础设施，支持网络切片与 GPU 分区。 在 JOINER UK 广域网上评估显示，分层服务产生不同延迟吞吐量区间，权重流式传输缩短扩展时间，张量并行仅限单子网跳。 该架构旨在解决集中式云部署的局限性，为分布式 LLM 推理系统研究提供参考。
来源：arXiv · AI · arxiv.org