跳到正文
arXiv · AI· Tina Vartziotis, Ketevan Peranidze, Rodopi Kosteli, Ezgi Sarikayak, George Dasoulas, Michael Keckeisen, Sotirios Kotsopoulos, Francesca Dominici·· 3 天前AI 评分36

重读并非免费:LLM 软件工程中 Token 轨迹与缓存感知能耗估算

Re-Reading Is Not Free: Token Traces and Cache-Aware Energy Estimation for LLM Agents in Software Engineering

AI 导读

基于 10 周真实软件开发场景分析,缓存上下文读取占 API 报告 Token 的 94.8%,缓存感知混合估算器评估该工作负载能耗约为 250 kWh。 现有基于输出的 EcoLogits 估算器仅评估 10 kWh,两者存在 25 倍差异;父会话日志对委托子代理 Token 存在 10 倍低估。 研究凸显工作流级能耗核算的必要性,需涵盖上下文累积、缓存复用及委托执行场景。

来源:arXiv · AI · arxiv.org