arXiv · ML· Usman Anwar, Tim Bakker, Dana Kianfar, Cristina Pinneri, Christos Louizos·· 29 天前AI 评分39
信息论视角下的 CoT 可监控性分析与改进
Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory
AI 导读
研究提出基于 CoT 与输出互信息的无标签目标,提升 CoT 可监控性。 互信息非零是 CoT 可监控性的必要非充分条件,误差源于信息差距与诱导错误。 该方法有效防止 CoT 混淆,并缓解任务奖励指定不完美时的奖励黑客行为。
来源:arXiv · ML · arxiv.org