arXiv · AI· Xu Li, Simon Yu, Minzhou Pan, Yiyou Sun, Zhaorun Chen, Bo Li, Weiyan Shi·· 17 小时前AI 评分31
RegretBench 与 BackUpper:评估并自动化编码智能体备份意识
Back Up Before You Regret: Measuring Backup Awareness and Automating Backup in Coding Agents
AI 导读
针对编码智能体在修改状态前缺乏备份意识的问题,研究提出含 205 个可执行任务的评测基准 RegretBench,并在 6 个前沿模型上发现任务完成率 86.1% 但备份率仅 15.2%。
来源:arXiv · AI · arxiv.org