arXiv · AI· Ben Slater, Ryan Lundqvist, Leo Richter, Kevin Wei·· 2026-10-14AI 评分40
自动化审计工具 Petri 研究显示 LLM 审计结果对上下文敏感
Audit tools of the trade: Automated Auditor Elicitation Can Be Sensitive to the Context the Auditor Is Given
AI 导读
研究利用 Petri 工具测试 LLM 审计器,发现提供外部代码库可抑制 reward hacking,而提供基准测试记录反而会导致其分数从 1.7 升至 6.1。 测试涉及 4 种 LLM 审计目标组合及 3 种行为模式,结果显示除 reward hacking 外,其他行为指标在不同配置下波动较大。 结果强调需谨慎使用 Petri 等工具进行试点,以验证自动化对齐审计的可靠性。
来源:arXiv · AI · arxiv.org