跳到正文
arXiv · NLP· Zhiwei Chen, Zhongtao Rao, Waikit Xiu, Yuxiang Zhang, Shuting Cui, Jian Chen, Tianxiang Zhao·· 2026-10-14AI 评分26

LatentRemedy 解决多智能体系统中非前缀 KV 缓存复用性能下降问题

LatentRemedy: Efficient Remedy For Non-Prefix KV Cache Reuse in Multi-Agent Systems

AI 导读

LatentRemedy 通过引入任务条件潜在 token,解决多智能体系统中非前缀 KV 缓存复用导致的模型性能下降问题,避免最高 90% 的性能损失。 该方法利用 MLP 将目标前缀最后隐状态映射为少量潜在 token,置于复用 KV 块后以辅助上下文解读,并通过全预填充蒸馏训练 MLP 引导预测。

来源:arXiv · NLP · arxiv.org