跳到正文
arXiv · AI· Zerui Yang, Miaomiao Dong, Quan Xue, Chaorui Zhang, Xuanyu Zheng, Xiyuan Wang, Haolin Ruan, Xueyan Niu, Guangcheng Song, Weixi Zhang, Wei Han, Bo Bai·· 2 天前AI 评分37

LLM编码智能体前缀缓存下的上下文增删成本研究

Context Has a Price: Adding and Removing Context for LLM Coding Agents under Prefix Caching

AI 导读

基于20,000次SWE-bench Verified等测试,研究揭示前缀缓存下上下文管理对LLM编码智能体成本的影响。 添加检索代码使读取和搜索命令减少18%–34%,但在缓存输入价格为非缓存十分之一时成本反而增加33%–42%;移除旧观察结果在无缓存折扣时节省19%–36%,有折扣时成本反增38%–116%。 表明上下文管理评估需同时考虑token价格与智能体后续行为。

来源:arXiv · AI · arxiv.org