跳到正文
arXiv · NLP· Shikhar Shiromani, Leo Richter, Noah Siegel·· 4 小时前AI 评分29

聚合精度掩盖 CoT 监控的推理依赖脆弱性

A False Average: Pooled CoT-Monitor Accuracy Conceals a Reasoning-Dependent Fragility

AI 导读

链式思维(CoT)监控的聚合精度是虚假平均,掩盖了对推理的依赖。在 Terminal Wrench 中,77% 的奖励漏洞由动作本身揭示,而控制性攻击通过重写推理文本,使剩余 23% 子集的捕获率从 95% 骤降至 4-11%。

来源:arXiv · NLP · arxiv.org