arXiv · ML· Jia Feng, Alyssa Wu, Cuiyun Gao, Yunlong Wang, Songyuanyi Lu, Zhichao Hu·· 24 天前AI 评分31
FeatureLoop:在演变需求下评估编码智能体的基准
Benchmarking Coding Agents under Evolving Requirements
AI 导读
FeatureLoop 基准包含 61 个人工审查任务,评测 12 个前沿模型发现最强模型在双重反馈下完成率 72.1%。 仅 15.4% 的失败阶段在两次修正内恢复,分析揭示了修复不完整、回归及模型间 token 效率差异等障碍。
来源:arXiv · ML · arxiv.org