跳到正文
arXiv · AI· Jiaqi Zheng, Yi Hu, Yadong Mu, Muhan Zhang·· 2026-10-14AI 评分38

基于超网络的持续学习中知识交互:冲突与组合

Knowledge Interaction in Hypernetwork-based Continual Learning: Conflict and Composition

AI 导读

基于超网络的持续学习框架发现,LLM在知识冲突时优先跟随上下文,且选择取决于知识呈现位置而非内容。 上下文和适配器知识沿与基础模型隐藏状态正交的方向扰动表征,可推导出控制知识源选择的steering vectors。 多跳推理中,模型无法可靠组合基础模型、上下文和适配器中的知识,关键在于超网络与后两者的交互。

来源:arXiv · AI · arxiv.org