arXiv · AI· Bole Ma, Ayesha Afzal, Jan Eitzinger, Harald Koestler, Gerhard Wellein·· 21 天前AI 评分23
推测解码在延迟目标下的能耗核算:仅接受 Token 计数
Only Accepted Tokens Count: An Energy Accounting of Speculative Decoding Under Latency Targets
AI 导读
研究在 H100 和 H200 GPU 上实测推测解码能耗,发现密集模型中验证而非起草主导能量成本。 随着批处理量增大,推测解码的能耗优势缩小;高批处理下低接受率甚至导致能耗增加,仅在高接受率时才能兼顾延迟与能效。
来源:arXiv · AI · arxiv.org