跳到正文
arXiv · AI· Zewen Huang, Xiangwen Zhuge, Yingkun Hu, Zheng Yang, Qiang Ma·· 2 天前AI 评分24

HyCoInfer:面向异构 GPU-FPGA 架构的大语言模型云边协同推理系统

HyCoInfer: Cloud-Edge Collaborative Inference for Large Language Models on Heterogeneous GPU-FPGA Architectures

AI 导读

HyCoInfer 提出云边协同推理架构,将 prefill 分配至云端 GPU,解码分布于 GPU 与边缘 FPGA。在 500 Mbps 链路下,其请求 goodput 达 vLLM 的 4.11 倍,平均延迟降低 61.1%。该系统通过异构卸载与带宽自适应 KV 压缩,显著提升通信密集型任务的推理服务容量并降低能耗。

来源:arXiv · AI · arxiv.org