跳到正文
arXiv · AI· Yezhou Cheng, Runjia Du, Zeming Liu, Qibai Chen, Hang Lyu, Yilan Wei, Yankai Zeng, Bojun Lin·· 12 小时前AI 评分42

面向固定预算下窄置信区间的成本高效 LLM 评估框架

Cost-Efficient LLM Evaluation: A Framework for Narrow Confidence Intervals Under Fixed Budgets

AI 导读

该框架在固定评估预算下,通过在任务与重复运行间优化分配以构建更窄的 LLM 性能置信区间。 在 LiveCodeBench 基准测试中,该框架在 15 种模型配置下实现了 30.6% 的中位置信区间宽度缩减。 理论上证明了其在最坏情况下实现了收窄置信区间的极快速率。

来源:arXiv · AI · arxiv.org