arXiv · ML· Minseong Kim, Jongbok Won, Jeesup Park, Yonghee Choi, Dongjun Han·· 9 小时前AI 评分35
WSR-Tune：通过权重空间重参数化在LLM下游微调中保留安全性
Rethinking LLM Fine-Tuning via Weight Space Reparameterization: Preserving Safety during Downstream Adaptation
AI 导读
现有LLM微调方法常因覆盖编码安全行为的参数而削弱安全对齐。WSR-Tune框架构建安全条件基，将安全信息集中至小部分方向并冻结这些关键方向，仅更新互补方向以适应下游任务。 该方法显式解耦安全与任务信息，减少目标间干扰，实验显示其在下游性能与安全保留间取得更优平衡，已被NeurIPS 2026接收为spotlight。
来源：arXiv · ML · arxiv.org