arXiv · NLP· Kirill Afendulev, Alexey Dontsov, Alla Chepurova, Elena Tutubalina, Anton Korznikov·2026-10-26 12:00· 5 小时前AI 评分28

干预 KV 缓存显示 LLM 答案来源归因依赖作答时的缓存状态

Context or Knowledge: How LLMs Attribute Their Own Answers

AI 导读

在 7B-32B 模型上干预 KV 缓存发现，移除文档缓存不改变来源报告，但移植 Q+A 缓存可使报告跟随供体，且沿拟合方向引导 Q+A 值可反转 98.9-100% 的报告，而随机方向仅翻转最多 1.1%。研究指出缓存中沿拟合方向分量的键值携带移植效应，单独复制这些分量几乎能复现报告变化。

来源：arXiv · NLP · arxiv.org