跳到正文
arXiv · AI· Chuangtao Chen, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Bing Li, Ulf Schlichtmann·· 24 天前AI 评分28

KV Packet:面向 LLM 的免重算且上下文无关的 KV 缓存框架

KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs

AI 导读

KV Packet 提出免重算的 KV 缓存复用框架,通过轻量级可训练软 token 适配器桥接上下文断层。 在 Llama-3.1 和 Qwen-3 实验中,该方法实现近零 FLOPs 且 TTFT 低于重算基线,F1 分数与全量重算持平。 该工作已被 NeurIPS 2026 接收。

来源:arXiv · AI · arxiv.org