arXiv · ML· Bora Kargi, David Salinas·· 5 小时前AI 评分23
基于保形Elo估计的大语言模型校准评估方法
From Uncertain Judgments to Calibrated Rankings: Conformal Elo Estimation for LLM Evaluation
AI 导读
研究提出基于保形Elo估计的LLM评估方法，通过传播校准胜率至Bradley-Terry程序并结合分层保形预测，生成具备边缘覆盖保证的预测区间。在LMArena上55个保留模型的测试中，该方法使LLM衍生评级与人类衍生评级间的平均绝对误差（MAE）达到17.9个Elo分。该方法无需大规模人工标注，即可为开发者提供校准的Elo估计及可信的不确定性边界。
来源：arXiv · ML · arxiv.org