arXiv · ML· Cesare Barbera, Luca Stradiotti, Lorenzo Cascioli, Lorenzo Perini, Niek Tax, Daniel Haimovich, Jesse Davis, Andrea Passerini, Andrea Pugnana·· 2026-10-14AI 评分33
CaLLM 框架缓解 LLM-as-a-judge 的系统性偏见
A CaLLM Judge is a Better Judge: Mitigating Bias in LLM-as-a-judge
AI 导读
CaLLM 是一种事后多校准框架,可缓解 LLM 评估器在 LLM-as-a-judge 任务中的系统性偏见。 它证明了 CaLLM 能界定所有由已知表征捕获误差结构的群体的偏见,并在成对偏好基准上同时提升校准误差与预测准确率。
来源:arXiv · ML · arxiv.org