arXiv · NLP· Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu, Shengxu Mu, Hanling Zhang, Yu Wang·· 2026-10-21AI 评分35
Cache Engineering for Agents 提出 LLM 智能体 KV 缓存控制方案
Cache Engineering for Agents
AI 导读
针对 LLM 智能体 KV 缓存成本痛点,提出 Cache Engineering 方案,支持直接控制缓存而不修改轨迹。 通过 drop 排除缓存并配合 AKV 引擎优化复用,基准测试平均分提升 1.7 分,成本降低 27.7%。 P95 延迟加速 1.5 倍,自改进策略额外降低 7.1% 成本。
来源:arXiv · NLP · arxiv.org