跳到正文
arXiv · ML· Chenxu Niu, Batuhan Sencer, Wei Zhang, Yong Chen·· 2026-10-21AI 评分27

Token-Energy Law:基于活跃字节与解码时间计算 LLM 每Token能耗

The Token-Energy Law of LLM Decode: Active Bytes and Realized Time Account for Joules per Token

AI 导读

Token-Energy Law 模型将 GPU 能耗拆解为活跃字节与 realized decode time 两个维度,解释了批处理、KV 缓存对能耗的影响。 该公式在 NVIDIA Hopper 和 Blackwell GPU 上通过三个模型的 BF16 解码实验验证,预测值与实测均值误差最大仅为 3.73%。

来源:arXiv · ML · arxiv.org