arXiv · ML· Karim Galliamov, Rochelle Choenni, Ivan Titov·2026-11-06 13:00· 23 小时前AI 评分32

知识卸载：将 LLM 分解为稀疏主干与记忆模块

Knowledge Offloading: Decomposing LLMs into Sparse Backbones and Memory Modules

AI 导读

提出 KOFF 框架将预训练 LLM 分解为稀疏共享主干和领域特定外部记忆模块。在 Llama 和 Qwen 3B 至 14B 模型中，卸载 12% 至 20% 容量仍可保留高达 90% 的 MMLU 性能。语言特定神经元被优先移除，验证了知识可从 LLM 核心重新分配至可互换记忆。

来源：arXiv · ML · arxiv.org