arXiv · NLP· Sida I. Wang·· 2026-10-14AI 评分24
基于全对比较法量化LLM评测中的预测噪声、数据噪声及总噪声
Measuring all the noises of LLM Evals
AI 导读
论文提出全对比较法,量化LLM评测中由生成不同答案产生的预测噪声和抽样问题产生的数据噪声。 通过数百万次问题级预测发现,多数评测的总噪声水平高度可预测,且成对预测噪声通常高于数据噪声。 该方法能有效提升统计功效,辅助研究者更准确地评估评测结果并做出实证决策。
来源:arXiv · NLP · arxiv.org