跳到正文
arXiv · AI· Wenqi Li, Bin Liu, Mindi Ruan, Chuanbo Hu, Minglei Yin, Xin Li·· 2026-10-08AI 评分31

条件准确率画像:跨部署条件诊断 LLM 裁判

Conditional Accuracy Profiles: Diagnosing LLM Judges across Deployment Conditions

AI 导读

提出条件准确率画像(CAP)框架,将 LLM 裁判成对准确率分解为内容敏感度、鲁棒性等八个条件维度。 该框架应用于 7 个 LLM 裁判和 6 个评测基准,在 judgerEva 上发现省略敏感度无法通过总体准确率预测。 CAP 揭示了聚合准确率掩盖的性能差异,为选择 LLM 裁判提供了比单一指标更具操作性的依据。

来源:arXiv · AI · arxiv.org