arXiv发布探针引导微调对齐研究

1. 12:00
   arXiv · ML

   基于探针训练的模型对齐方法在提升安全性与可监控性方面的优势

   研究提出探针引导的微调方法，利用检测模型内部激活状态中不良属性的探针作为直接训练信号，以替代仅基于输出进行对齐的传统方法。 评估发现，使用持续更新的探针进行微调，能比 DPO 和推理时引导（inference-time steering）实现更优的安全性与效用权衡，并显著增强对越狱（jailbreak）和消解（abliteration）攻击的鲁棒性。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。