arXiv · AI· Smit Kadvani, Kriti Faujdar, Spurthi Tallam·· 3 小时前AI 评分36
中型开源 LLM 量化推理实测：速度翻倍仅限小批量，FP8 在大场景更优
Twice as Fast, Until It Isn't: Quantized Serving of Mid-Size Open LLMs
AI 导读
针对 9B-20B 开源模型在 vLLM 或 SGLang 上的量化实测显示，4-bit 权重在小批量下可提速约 2.12 倍，但在大批量场景速度优势消失，FP8 成为更有效选择。
来源：arXiv · AI · arxiv.org