arXiv · ML· Skyler Wu, Yash Nair, Emmanuel J. Cand\`es·· 21 天前AI 评分23
LLM 高效评估:具有统计保证的主动查询方法
Efficient Evaluation of LLM Performance with Statistical Guarantees
AI 导读
研究者提出 FAQ 方法,将大语言模型基准测试视为有限总体推断,在固定查询预算下追求紧置信区间。 该方法利用贝叶斯因子模型和混合方差缩减策略自适应选择问题,在两个基准套件上比基线方法带来高达 5 倍的有效样本量增益,且计算开销可忽略。 代码和数据集已开源以支持可复现性。
来源:arXiv · ML · arxiv.org