arXiv · NLP· Delip Rao, Chris Callison-Burch·· 2026-10-14AI 评分30
决策模型与 LLM 作为评分标准评判者:更便宜、更快,但在相同地方出错
Decision Models vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places
AI 导读
Jev 和 Decider 等决策模型在9个面板27次对比中表现接近 LLM 评判者,成本仅为后者的1/16至1/357,耗时仅为1/5至1/350。 两类模型在排序标准上错误模式相似,85%的 LLM 高置信度错误会重复决策模型的错误;级联策略最多仅带来2.7分提升,主要节省成本。 研究建议设计新型决策模型以纠正 LLM 评判者的盲区,反之亦然。
来源:arXiv · NLP · arxiv.org