跳到正文
arXiv · ML· Usman Anwar, Tim Bakker, Dana Kianfar, Cristina Pinneri, Christos Louizos·· 29 天前AI 评分39

信息论视角下的 CoT 可监控性分析与改进

Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory

AI 导读

研究提出基于 CoT 与输出互信息的无标签目标,提升 CoT 可监控性。 互信息非零是 CoT 可监控性的必要非充分条件,误差源于信息差距与诱导错误。 该方法有效防止 CoT 混淆,并缓解任务奖励指定不完美时的奖励黑客行为。

来源:arXiv · ML · arxiv.org