arXiv · ML· Jonas Loos, Oliver Eberle·· 4 小时前AI 评分21
KV-Cache Patching: 追踪微调行为如何及在何处产生
KV-Cache Patching: Tracing How and Where Fine-Tuned Behaviors Arise
AI 导读
通过 LoRA 微调模型与基础模型间的 KV cache 互换，研究发现部分行为（如用德语回复或涌现式失准）可从微调模型转移至基础模型，反向操作亦可消除微调行为。 微调效果随 KV cache 替换比例增加而增强，且集中于系统提示词和聊天模板 token 等关键位置。 该研究揭示了微调行为的实例化机制，成果发表于 NeurIPS 2026 Workshop。
来源：arXiv · ML · arxiv.org