arXiv · AI· You Liu, Quanchao Lu·· 10 天前AI 评分30
LLM Agent 评估中的重放保真度:随机性、隐藏状态与测试预言机
Replay Fidelity in LLM Agent Evaluation: Randomness, Hidden State, and Test Oracles in AppWorld
AI 导读
研究审计 AppWorld 71 次失败执行,提出基于重放保真度的评估方法。 重置随机数生成器可接受 68 例,结合数据库与预言机检查后差距缩小至 4 例。 该贡献为有界经验表征,未估算调试器准确性或修复收益。
来源:arXiv · AI · arxiv.org