跳到正文
arXiv · NLP· Zihe Song, Wenting Zhao, Ye Liu, Yuanjie Zhu, Ke Xu, Shanghao Li, Philip S. Yu·· 6 小时前AI 评分36

SpecMem:通过实时记忆管理加速智能体工具调用

SPECMEM: Accelerating Agentic Tool Calling via Live Memory Management

AI 导读

研究者提出 SpecMem,一种在部署中保持活跃管理的工具调用记忆机制,利用已验证调用在线回写至有界用户存储并配合 LRU 淘汰,以加速智能体推理而不改变输出。在由三个开源权重模型服务的多会话、多用户查询流测试中,SpecMem 相比冻结存储模型平均接受 token 数提升 27%,且实际时钟加速最高达 1.74 倍,消融实验表明收益几乎完全来自保持存储实时性,而副作用门控机制则消除了不可逆错误。

来源:arXiv · NLP · arxiv.org