arXiv · NLP· Mainul Hasan Mohsin, Mohammad Shahidur Rahman·· 10 天前AI 评分38
LLM 多智能体共谋监测探针的评估陷阱分析
What Do Collusion Probes Read? Three Pitfalls in Evaluating Multi-Agent Collusion Monitors
AI 导读
激活探针在监测 LLM 智能体共谋时主要检测指令而非决策,2,500 个委员会和 1,476 个代码审查回合的基准测试显示,现有检测器难以区分接受与拒绝共谋指令的智能体。 移除共谋指令后,最佳探针的 AUROC 从 1.00 降至 0.61;投票后评估和 57% 的公开论证缺失进一步夸大了监测结果。 该研究提出了控制协议和在线监测方法,用于评估任意共谋监测器。
来源:arXiv · NLP · arxiv.org