arXiv · NLP· Ziyi Zhu, Olivier Tieleman, Alexey Bukhtiyarov, Jinghong Chen·· 8 小时前AI 评分34
CyclicJudge 通过方差分解缓解 LLM 评估中的裁判偏差
CyclicJudge: Mitigating Judge Bias Efficiently in LLM-based Evaluation
AI 导读
提出 CyclicJudge 轮询分配策略，通过方差分解证明其为固定裁判面板下的最优方案，能抵消裁判加法偏移且成本等同单裁判。 该策略在 MT-Bench 和 MindEval 实验中验证有效，降低了基准分数方差并稳定模型排名，优于单纯增加生成数量的方法。
来源：arXiv · NLP · arxiv.org