跳到正文
arXiv · ML· Carson Rodrigues, Clive Rodrigues, Aravind Reddy G·· 10 天前AI 评分26

衡量 LLM Agent 在 CAD 操作中的静默失败与自我验证校准

Done Is Not Correct: Measuring Silent Failures and Self-Verification Calibration When LLM Agents Take CAD Actions

AI 导读

针对 LLM Agent 生成参数化 CAD 代码的基准测试显示,单次生成静默失败率达 14.1%,且完成声称校准度低。 引入强制“测量后声称”的工具使用循环将静默失败率降至 3.2%,完成声称准确率从 64% 提升至 96%。 planner-coder-checker 管道在较低覆盖率下匹配了相同精度,但无成功率增益,表明契约约束优于单纯反馈

来源:arXiv · ML · arxiv.org