arXiv · NLP· Fei Ding·· 3 小时前AI 评分27
编码智能体基准测试中的规格-预言机缺口：静态审计与影响分析
What the Specification Did Not Say: Specification-Oracle Gaps in Test-Graded Coding-Agent Benchmarks
AI 导读
研究形式化定义并审计了编码智能体基准测试中存在的“规格-预言机”缺口，即测试依赖未在自然语言描述中说明的实现细节。 该静态审计工具在五种编程语言中识别依赖项，精确率达89.2%，召回率达92.9%。
来源：arXiv · NLP · arxiv.org