arXiv · AI· Yuyang Dai, Yuxia Wang·· 1 天前AI 评分44
研究揭示 LLM 信心量表设计对元认知的影响：0-20 量表优于 0-100
Beyond 0-100: How Confidence Scale Design Shapes Verbalized Confidence and LLM Metacognition
AI 导读
研究表明，在六个 LLM 和三个数据集上，LLM 口头化信心高度离散，超过 78% 的回复集中在三个整数值。 测试显示，0-20 量表始终比标准的 0-100 格式提高元认知效率（meta-d'），而边界压缩会降低性能。 该设计选择直接影响不确定性质量，应被视为 LLM 评估中的一级实验变量。
来源：arXiv · AI · arxiv.org