热点事件持续更新

CyclicJudge 论文：轮询裁判策略缓解 LLM 评估偏差

1 篇报道1 个报道来源8 小时前更新

先了解这件事

AI 综述

arXiv 最新论文介绍 CyclicJudge，提出通过轮询分配策略缓解 LLM 评估中的裁判偏差。该方法基于方差分解理论，将基准分数方差划分为场景、生成、裁判及残差四个组成部分。研究证明，在固定裁判面板和调用预算下，CyclicJudge 是最优策略。 CyclicJudge 能够抵消平均加法裁判偏移，且成本等同于单裁判评估。实验在 MT-Bench 和 MindEval 上验证了其有效性，相比单纯增加生成数量，该方法能降低基准分数方差并稳定模型排名。

AI 根据报道生成 · 7 小时前更新

最新进展11月5日 13:00

CyclicJudge 通过方差分解缓解 LLM 评估中的裁判偏差

报道时间线

沿着报道，了解事件的不同侧面。

11月5日

13:00
arXiv · NLP
CyclicJudge 通过方差分解缓解 LLM 评估中的裁判偏差
提出 CyclicJudge 轮询分配策略，通过方差分解证明其为固定裁判面板下的最优方案，能抵消裁判加法偏移且成本等同单裁判。该策略在 MT-Bench 和 MindEval 实验中验证有效，降低了基准分数方差并稳定模型排名，优于单纯增加生成数量的方法。

本事件热度走势

可比范围当前: 8
可比范围峰值: 1011月5日 14:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。