跳到正文
arXiv · AI· Forough Majidi, Mohammad Mehdi Morovati, Foutse Khomh, Heng Li·· 10 天前AI 评分38

LLM 服务框架实证研究:框架、优化算法及实际应用分析

Understanding Efficient LLM Serving: An Empirical Study of Frameworks, Optimizations Algorithms, and Real-World Adoption

AI 导读

一项针对开源系统的大规模实证研究分析了五个主流 LLM 服务框架的实际采用情况。 研究发现 vLLM 在流行度和采用率上最高,并行计算、内存管理和网络剪枝是最常用的方法类别。由于缺乏多框架组合使用的普遍性,开发者通常依赖单一框架,但结合框架可补充服务堆栈中的互补能力。 该研究为研究人员、维护者及从业者提供了 LLM 系统采用的实证参考。

来源:arXiv · AI · arxiv.org