跳到正文
arXiv · AI· Minghe Shen, Ananth Balashankar, Adam Fisch, David Madras, Miguel Rodrigues·· 17 小时前AI 评分25

约束最大似然法(CMLE)实现LLM评估鲁棒性提升

Robust LLM Evaluation with Boundedly Bad Judges: A Constrained Maximum Likelihood Approach

AI 导读

论文提出约束最大似然估计(CMLE)方法,通过显式建模代理标签误差率来改进LLM评估。该方法利用数据驱动约束作为自适应正则化,在低标签场景下表现优异。 实验表明,CMLE相比无约束基线MSE降低约9%;其分层变体SCMLE在低标签区域MSE最高降低30%,有效平衡了偏差与方差。

来源:arXiv · AI · arxiv.org