跳到正文
arXiv · NLP· Suman Chatterjee·· 10 天前AI 评分29

PACE:长时程LLM智能体中,仅保留KV Cache中的正确Token是不够的

PACE: Keeping the Right Tokens in the KV Cache Is Not Enough for Long-Horizon LLM Agents

AI 导读

新引擎PACE解决长时程LLM智能体KV Cache驱逐难题,在100K token会话中通过97%隐藏单元测试,显著优于H2O的42%。 其结合规划感知保留与有界位置重编号,将旋转位置距离控制在8K以内,在单卡24 GB GPU上仅需0.7 GB KV状态即支持1M-2M token会话。

来源:arXiv · NLP · arxiv.org