跳到正文
arXiv · ML· Tairan Xu, Leyang Xue, Zhan Lu, Jinfu Deng, Hongyang Xiao, Yinsicheng Jiang, Congjie He, Matej Sandor, Le Xu, Luo Mai·· 12 小时前AI 评分21

BatchGen: 一种可扩展且高效的大模型批推理架构

BatchGen: An Architecture for Scalable and Efficient Batch Inference

AI 导读

针对批推理负载,BatchGen 提出了序列协程计算模型,以解决现有推理引擎在大规模扩展时的低利用率问题。 该架构支持事件驱动的细粒度工作重组,可在 128-GPU 集群上将批处理完成时间最多缩短 2.3 倍,并在内存受限加速器上超越最佳卸载基线达 9.6 倍。 作者计划开源该生产级系统,以支持跨设备动态再分配工作及维持高效能。

来源:arXiv · ML · arxiv.org