研究揭示编码智能体测试中的规格缺口

Fei Ding 等人发布研究，形式化定义了编码智能体基准测试中存在的“规格-预言机”缺口。该缺口指测试依赖未在自然语言任务描述中说明的实现细节，导致模型因非推断性信息缺失而表现偏差。 研究构建了一种针对五种编程语言的静态审计工具，用于识别此类依赖。在基准测试中，该工具在保留集上取得了 89.2% 的精确率和 92.9% 的召回率，有效量化了测试对未声明名称或路径的依赖程度。 在 SWE-Milestone 基准的实测中，审计发现 98 个评分里程碑中有 25 个包含此类测试。这些测试依赖非推断性的名称或路径，影响了 35 次已发布运行中的评估结果，证实了规格缺口对基准公平性的实际干扰。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。