arXiv · NLP· Chung-En Sun, Ge Yan, Zimo Wang, Tsui-Wei Weng·· 8 小时前AI 评分29
Steer2Edit:从激活引导到组件级权重编辑
Steer2Edit: From Activation Steering to Component-Level Editing
AI 导读
研究团队提出无训练框架 Steer2Edit,将引导向量转化为组件级 rank-1 权重编辑,在保持标准前向传播的同时优化属性-效用权衡。 该框架选择性重新分配注意力头与 MLP 神经元的行为影响,无需重新训练且兼容优化并行推理,代码已开源。 在安全对齐、幻觉缓解及推理效率任务中,Steer2Edit 分别提升安全性 17.2%、真实性 9.8%,并平均减少 12.2% 推理长度。
来源:arXiv · NLP · arxiv.org