CR-Bench-v2 发布,评测代码审查智能体缺陷导向效用
热点事件持续更新
CR-Bench-v2 发布,评测代码审查智能体缺陷导向效用
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
arXiv 发布 CR-Bench-v2 基准,包含 584 个实例及 174 个验证子集,采用 KDDR 和 Usefulness Rate 指标评估代码审查智能体的效用。 实验覆盖 4 种底层架构的 8 个智能体及 Gemini Code Assist。结果最强系统 KDDR 约 33%,Gemini 仅为 8.1%。 数据揭示现有代码审查工具存在严重缺陷且难以全面自动化,行业亟需建立更标准化的评测体系。
AI 根据报道生成 · 1 小时前更新
最新进展11月3日 13:00
CR-Bench-v2 提出缺陷导向的代码审查智能体评测框架报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- arXiv · MLCR-Bench-v2 提出缺陷导向的代码审查智能体评测框架
论文发布 CR-Bench 基准,包含 584 个代码审查实例及 174 个验证子集,利用 KDDR 和 Usefulness Rate 指标评估智能体效用。 实验覆盖 4 种底层架构的 8 个智能体及 Gemini Code Assist,最强系统 KDDR 约为 33%,Gemini 仅为 8.1%。 结果揭示现有代码审查工具存在严重缺陷,难以全面自动化,亟需更标准化的评测体系。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。