跳到正文
arXiv · AI· Lovedeep Gondara, Jekaterina Novikova, Sagarika Suresh, Jack Ji, Jithin Pradeep·· 2026-10-14AI 评分35

LLM 评委评分格式影响指令微调数据筛选效果

The Format is the Filter: Scoring Format Fixes What an LLM Judge Can Express

AI 导读

研究发现 LLM 评委的评分格式比评委本身更显著地影响指令微调数据筛选效果。 在固定候选池和预算下,对 15406 个 UltraFeedback 候选进行测试,0-100 分制实际仅等价于 1-5 分制的 2 至 3 倍分辨率。 二元判定会在 77%-78% 的情况下导致最高分并列,且现有指标可能误导格式选择。

来源:arXiv · AI · arxiv.org