arXiv · AI· Bole Ma, Ayesha Afzal, Jan Eitzinger, Gerhard Wellein·· 9 小时前AI 评分20
LLM 解码阶段能耗特征研究：跨注意力架构的相位感知分析
The Illusion of Power Capping in LLM Decode: A Phase-Aware Energy Characterisation Across Attention Architectures
AI 导读
研究揭示 LLM 服务中功率限制对主导的自回归解码阶段几乎无效，解码耗时远低于 H200 GPU 700W 额定的 50%。 在 vLLM 环境中测试 GQA、MLA、Gated DeltaNet 和 Mamba2 四种架构，锁频策略可在几乎不损失吞吐量的前提下回收 32% 解码能耗。 该成果已被 PPAM 2026 会议接收，为优化 LLM 服务能效提供了新的架构指导。
来源：arXiv · AI · arxiv.org