arXiv · NLP· Kazem Faghih, Yize Cheng, Shoumik Saha, Mobina Pournemat, Armin Gerami, Soheil Feizi·· 6 小时前AI 评分33
提出“可及性”指标以揭示 LLM 基准测试中模型能力广度与可靠性偏差
Revealing what benchmark scores hide: Jointly measuring the breadth and reliability of LLM capabilities using accessibility profiles
AI 导读
研究指出 LLM 基准单一定题评估掩盖了模型在不同等价表述下的性能差异，提出用“可及性”（accessibility）衡量模型成功概率。 该指标区分了模型能力覆盖广度（Access@5）与输出可靠性（Reliable@5），在超过 20 个模型的测试中发现，约半数均值相近的模型对在这两项指标上呈现截然相反的优劣关系。
来源：arXiv · NLP · arxiv.org