arXiv · NLP· Junrong Tang, Jianghui Wang, Hao Kong, Yang Lin, Yibo Yang·· 2 小时前AI 评分32
HyperRepair：恢复微调语言模型遗忘的通用能力
HyperRepair: Recovering Forgotten General Capabilities of Fine-Tuned Language Models
AI 导读
HyperRepair 框架通过超网络恢复微调模型的通用能力，同时保留领域专长。该框架利用激活指纹生成定制化修复侧网络（RSN），实现零额外优化成本。在默认设置下，模型恢复了 93.4% 的通用平均分，并保留了 99.5% 的领域平均分。
来源：arXiv · NLP · arxiv.org