arXiv · ML· Carson Rodrigues, Clive Rodrigues, Aravind Reddy G·· 10 天前AI 评分26
衡量 LLM Agent 在 CAD 操作中的静默失败与自我验证校准
Done Is Not Correct: Measuring Silent Failures and Self-Verification Calibration When LLM Agents Take CAD Actions
AI 导读
针对 LLM Agent 生成参数化 CAD 代码的基准测试显示,单次生成静默失败率达 14.1%,且完成声称校准度低。 引入强制“测量后声称”的工具使用循环将静默失败率降至 3.2%,完成声称准确率从 64% 提升至 96%。 planner-coder-checker 管道在较低覆盖率下匹配了相同精度,但无成功率增益,表明契约约束优于单纯反馈
来源:arXiv · ML · arxiv.org