跳到正文
arXiv · NLP· Xueping Gao·· 2 天前AI 评分22

编码智能体中检查通过不等同于任务完成:证据解读研究

When Passing Checks Do Not Establish Completion: Evidence Interpretation in Coding Agents

AI 导读

针对编码智能体中验证程序无法保证正确判定任务完成的问题,研究提出需保留执行事实并限定证据范围。 十三项任务的前瞻性阶乘研究显示,正确报告的事实未必能得出请求的有限判定;122个留出集标签均正确,但16个响应误报事实且11个超出授权范围。 结果界定了证据解读的适用性,未证明通用的诊断优势或Skill退化效应。

来源:arXiv · NLP · arxiv.org