跳到正文
arXiv · AI· Jiahong Dai, Zhuochen Yang, Pengyang Shao, Kelvin Ng, Zhongyi Liu, Chengquan Ju, Yuting He, Bo Hu·· 12 小时前AI 评分37

Hearsay 基准测试揭示部署型 Agent 运行日志审计困境:单一写者导致记录无法验证

Hearsay: Who Can Audit the Record a Deployed Agent Harness Writes?

AI 导读

研究提出 Hearsay 基准测试,针对 16 个部署框架发现 Agent 运行记录均由单一 harness 写入,构成不可验证的“传闻”。 模型检查者引用证据存在 18-55 分偏差,且仅能识别半数篡改;引入第二写者账本后,在 66 项篡改中检出 64 项。 核心结论表明,赋予运行记录证据效力的关键在于引入第二写者机制,而非提升读取者能力。

来源:arXiv · AI · arxiv.org