arXiv · ML· Samarth Raina, Saksham Aggarwal, Amit Dhanda, Vinija Jain, Aman Chadha, Amitava Das·· 9 小时前AI 评分42
D-STEER 揭示 DPO 安全行为在激活空间中的双向可控性
D-STEER: Two-Way Control of DPO-Induced Safety Behavior in Activation Space
AI 导读
D-STEER 审计证实，DPO 引入的安全行为在激活空间中可通过推理时干预实现双向控制。在 Mistral-7B 模型中，安装干预恢复了 98% 的安全效应差距，其余三组干预恢复率为 46-50%。 该结果表明，DPO 诱导的安全行为并非深层固化，而是保留了对紧凑推理时干预的可控性，且效果取决于具体的检查点配对和引导实现方式。
来源：arXiv · ML · arxiv.org