arXiv · NLP· Rishi Khare·· 2026-10-14AI 评分30
CacheFuse:实现语言模型间免训练潜在通信的 KV cache 融合方法
Think Before You Speak: Enabling Training-Free Latent Communication Between Language Models
AI 导读
CacheFuse 提出一种免训练方法,通过线性插值融合上游模型的 KV cache 实现异构语言模型间的潜在通信,突破文本交换瓶颈。该方法在四个推理与知识基准上测试,准确率较单模型最高提升 8.6 个百分点,TTFT 最高提速 12.2 倍。论文已被 COLM 2026 效率推理工作坊接收。
来源:arXiv · NLP · arxiv.org