arXiv · ML· Changho Shin, Frederic Sala·· 8 小时前AI 评分22
VoirDire: LLM 评委聚合的假设校准方法
VoirDire: Counterfactual Calibration for Reliable LLM-as-a-Judge Aggregation
AI 导读
VoirDire 提出一种面向 LLM 评委面板的干预校准聚合方法，通过控制表面特征变化识别并抑制偏差方向，以增强共识可靠性。 在 12 个数据集上的评估显示，该方法在连续评分任务中最大降低 26.8% 的 MAE，在二分类与偏好任务中准确率最高提升 5.3 个百分点。
来源：arXiv · ML · arxiv.org