arXiv · AI· Yibo Yan, Huijuan Wang, Junzhou He, Yizhuo Liang, Shaoyu Wang, Huanchen Sun, Seo Jin Park·· 10 天前AI 评分24
DDBench:面向分布式系统智能体调试的基准测试
DDBench: A Benchmark for Agentic Debugging on Distributed Systems
AI 导读
DDBench 发布 60 个来自 13 个开源分布式系统的历史 Bug 基准,填补分布式系统代码修复评测空白。 该基准设置仅症状与增强上下文两种条件,评估 10 个 LLM 发现上下文使通过率提升 19.0 个百分点,且弱模型获益更大。 DDBench 揭示分布式调试需跨进程推理,单一进程基准无法覆盖该维度。
来源:arXiv · AI · arxiv.org