arXiv · ML· Vihan Lakshman, Peter Baile Chen, Zhuohan Gu, Michael Cafarella·· 23 小时前AI 评分30
CacheGraft：通过潜在空间文档增强提升 RAG 性能
CacheGraft: Enhancing Retrieval-Augmented Generation via Latent-Space Document Enrichment
AI 导读
CacheGraft 利用 KV cache 融合离线编码语料，允许 0.6B 小模型在查询时直接注入 4B 大模型的缓存，从而增强 RAG 效果。 在五个 QA 基准中，CacheGraft 在 30 次对比中有 29 次优于纯文本基线，其中 17 次具有统计学显著性，且对融合器而言是零样本的。 该结果表明潜在空间文档增强在计算受限场景下部署小模型具有前景。
来源：arXiv · ML · arxiv.org