arXiv · NLP· Lingyun Song, Ziyao Chen, Kang Pan, Xiaolin Han, Yifei Zhang, Xiaoqi Wang, Yudai Pan, Xuequn Shang·· 11 天前AI 评分25
ROSE 提出面向多模态大语言模型终身知识编辑的风险感知正交子空间导航框架
ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models
AI 导读
多模态大语言模型终身知识编辑面临严重灾难性遗忘问题,现有方法难以避免序列编辑对预训练能力的干扰。 ROSE 框架通过限制参数更新在正交互补子空间并引入风险掩码机制,成功保护了关键事实参数子空间,确保模型稳定性。 在两个主流多模态基准测试中,ROSE 在连续 1,000 次更新中保持了卓越稳定性,其表现与最先进方法相当。
来源:arXiv · NLP · arxiv.org