arXiv · ML· Pranay Kothari·· 2026-10-05AI 评分28
ArrivalBench 揭示 Agent 生成数据管道的时序错误
ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time
AI 导读
基准测试 ArrivalBench 发现,单次运行验证的 Agent 数据管道在重放非理想交付时序时存在 7.0% 至 79.2% 的隐蔽错误率,远超其单次测试的认证通过率。 该研究区分了隐蔽的错误表结果与可监控的崩溃,指出提示幂等性风险虽能将某模型的隐蔽失败率从 48.2% 降至 10.5%,但会导致其崩溃率从 9.0% 激增至 37.0%。
来源:arXiv · ML · arxiv.org