arXiv · AI· Jon-Paul Cacioli·· 4 天前AI 评分30
LLM 基准置信度信号的有效性筛查框架
Screen Before You Interpret: A Portable Validity Screen for Benchmark-Based LLM Confidence Signals
AI 导读
提出一种可移植的有效性筛查方法,用于评估 LLM 基准中置信度信号是否随正确率变化。 在 20 个前沿模型 452 题测试中,15 个模型信号有效,1 个无效,4 个不确定;1500 题 MMLU 测试显示判定依赖切分点。 该筛查分离了盲目自信、盲目撤回和反转,仅当信号可测量地追踪正确率时才标记为有效。
来源:arXiv · AI · arxiv.org