arXiv · AI· Lars Krupp, Daniel Gei{\ss}ler, Francisco M. Calatrava-Nicolas, Stefan Gerd Fritsch, Paul Lukowicz, Jakob Karolus·· 21 天前AI 评分23
LLM 预填充与解码阶段计算时间与能耗预测研究
The Real Cost of Context: Predicting Compute Time and Energy Consumption in LLM Prefill and Decode Phases
AI 导读
针对 LLM 智能体工作流中大量输入上下文的能耗估算难题,研究通过广义线性模型系统剖析了不同 token 长度下的性能。结果显示解码阶段计算时间与输出长度呈线性扩展,而预填充阶段则随输入长度呈现线性及二次扩展特征。该框架确立了计算时间作为能耗可靠代理指标的有效性,并支持更可持续的 AI 部署决策。
来源:arXiv · AI · arxiv.org