arXiv · NLP· Yi Fang, Gaurav Srivastava, Zhenyu Bi, Sirui Ding, Xuan Wang·2026-10-20 12:00· 6 小时前AI 评分35

Cache2LoRA：理解并改进上下文内化

Cache2LoRA: Understanding and Improving Context Internalization

AI 导读

Cache2LoRA 提出通过查询聚合冻结文档缓存证据再生成 LoRA 更新，在 17 项任务上宏平均 F1 达 0.663，接近全上下文学习的 0.671。该方法仅对查询和记忆词尾进行可训练编码，256 token 输出时解码吞吐量达全上下文 ICL 的 5.9 倍，且在匹配内存下混合 F1 更优。

来源：arXiv · NLP · arxiv.org

论文研究 #论文/研究 #RAG #arXiv