跳到正文
arXiv · AI· Hiari Pizzini Cavagna, Andrea Proia, Daniele Cesarini, Zeynep Kiziltan, Andrea Bartolini·· 17 天前AI 评分38

SIMPLE 定律:LLM 推理能耗的四参数分析模型

The SIMPLE Law for Energy Cost of LLM Inference

AI 导读

研究者提出 SIMPLE 定律,通过四个参数解析 LLM 推理能耗,无需逐模型校准。在 13 个稠密 LLM 的 NVIDIA H100 实测中,其 MAPE 为 11.97%,误差比 SOTA 低 3.1-3.5 倍。

来源:arXiv · AI · arxiv.org