跳到正文
arXiv · ML· Usman Anwar, Tim Bakker, Christos Louizos, David Krueger·· 29 天前AI 评分38

可监控性是可训练的:用于思维链可监控性的后训练

Monitorability Is Trainable: Post-Training for Chain-of-Thought Monitorability

AI 导读

研究者提出基于最大化思维链(CoT)与输出互信息的无监督后训练目标,以改进 AI 系统的 CoT 可监控性。该目标在三个 CoT 退化的模型中恢复了丢失的可监控性,并在未退化策略中提升了 CoT 监控器对不安全行为的预测准确率。结果表明,可监控性应被视为策略的可训练属性,专用后训练阶段可延长现有保护措施,对抗直接优化压力。

来源:arXiv · ML · arxiv.org