BT等机构发布电信级LLM推理架构InferSlice

1. 12:00
   arXiv · AI

   InferSlice: 电信广域网中 SLO 驱动的 LLM 推理参考架构

   BT 联合爱丁堡大学及 NVIDIA 提出 InferSlice 架构，将 SLO 驱动 LLM 推理整合于电信基础设施，支持网络切片与 GPU 分区。 在 JOINER UK 广域网上评估显示，分层服务产生不同延迟吞吐量区间，权重流式传输缩短扩展时间，张量并行仅限单子网跳。 该架构旨在解决集中式云部署的局限性，为分布式 LLM 推理系统研究提供参考。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。