arXiv · AI· Ruiqi Wang, Xinchen Wang, Cuiyun Gao, Chun Yong Chong, Xin Xia, Qing Liao·· 2026-10-16AI 评分23
提出 AXIOM 框架及 AXIOMBENCH,用于通过受限扰动与校准评测代码 LLM-as-a-Judge
Benchmarking Code LLM-as-a-Judge via Constrained Perturbation and Calibration
AI 导读
现有代码 LLM-as-a-judge 基准测试存在缺陷标注模糊或质量分布失衡问题,无法有效区分细微错误。 论文提出基于扰动的 AXIOM 框架,通过语义扰动控制代码质量分布,并混合多源上下文简化人工标注。 构建包含 1962 个多语言代码评测问题的 AXIOMBENCH,解决传统基准测试无法准确衡量判别能力的问题。
来源:arXiv · AI · arxiv.org