arXiv · ML· Lena Libon, Alexander Panfilov, Ben Rank, Xin Chen, Jonas Geiping, Maksym Andriushchenko·· 17 小时前AI 评分34
基于探针训练的模型对齐方法在提升安全性与可监控性方面的优势
Alignment via Training Against Probes Without Losing Monitorability
AI 导读
研究提出探针引导的微调方法，利用检测模型内部激活状态中不良属性的探针作为直接训练信号，以替代仅基于输出进行对齐的传统方法。 评估发现，使用持续更新的探针进行微调，能比 DPO 和推理时引导（inference-time steering）实现更优的安全性与效用权衡，并显著增强对越狱（jailbreak）和消解（abliteration）攻击的鲁棒性。
来源：arXiv · ML · arxiv.org