arXiv · ML· Kristen Pereira, Neelabh Sinha, Rajat Ghosh, Debojyoti Dutta·· 11 小时前AI 评分26
CR-Bench-v2 提出缺陷导向的代码审查智能体评测框架
CR-Bench-v2: Evaluating the Real-World Utility of AI Code Review Agents
AI 导读
论文发布 CR-Bench 基准，包含 584 个代码审查实例及 174 个验证子集，利用 KDDR 和 Usefulness Rate 指标评估智能体效用。 实验覆盖 4 种底层架构的 8 个智能体及 Gemini Code Assist，最强系统 KDDR 约为 33%，Gemini 仅为 8.1%。 结果揭示现有代码审查工具存在严重缺陷，难以全面自动化，亟需更标准化的评测体系。
来源：arXiv · ML · arxiv.org