arXiv · AI· Hankyeol Kim, Pilsung Kang·· 4 小时前AI 评分31
LLM 置信度校准的协议敏感性：同一答案的不同置信度表现
Same Answer, Different Confidence: Protocol Sensitivity in LLM Confidence Calibration
AI 导读
研究显示 LLM 的置信度评分及两种置信度指标的对比受测量协议影响。改变上下文使 ECE 差异从 0.287 变为 0.304，AUROC 从 0.189 变为 0.145，在 19/20 设置中 95% 置信区间排除零。 主要效应源于指令变化而非答案位置，且结论在最大 72B 参数的模型中依然成立。 作者据此提出了 LLM 置信度及其比较的报告清单。
来源：arXiv · AI · arxiv.org