跳到正文
arXiv · AI· Zeyu Yang, Wes Armour·· 2026-10-14AI 评分27

86 个开源 LLM 的推理能效测量:基准、推理模式与硬件

Measuring the Inference Energy Efficiency of Open-Weight LLMs across Benchmarks, Reasoning Modes, and Hardware

AI 导读

研究测量了 86 个开源 LLM 检查点在 7 项基准和 6 种硬件平台上的推理能效。多数配置能效较低,能耗比同等分数配置中位数高 2.6-4.8 倍,最大达 27 倍。 开启思考模式平均使能耗增加 3.7 倍,而 FP8 量化可减少约 25% 能耗且分数变化微小。 论文建议基准分数应与指定服务机制和输出预算下的实测能耗一同报告。

来源:arXiv · AI · arxiv.org