LLM置信度校准协议敏感性研究发布
热点事件持续更新
LLM置信度校准协议敏感性研究发布
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
arXiv 论文（编号 2605.27752）由 Hankyeol Kim 与 Pilsung Kang 于 2026 年 10 月 26 日发布，探讨大语言模型（LLM）置信度校准对测量协议的敏感性。 研究在五个开源 LLM 和四个问答数据集上，固定答案、表达的置信度及正确性标签，仅改变测量协议。结果显示，上下文变化使 ECE 从 0.287 变为 0.304，AUROC 从 0.189 变为 0.145，95% 置信区间在 19/20 种设置中排除零。 研究指出主要效应源于指令变化而非答案位置，且在最大 72B 参数的模型中结论依然成立。作者据此提出了 LLM 置信度及其比较的报告清单，为相关研究提供指导。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 12:00
LLM 置信度校准的协议敏感性：同一答案的不同置信度表现报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv · AILLM 置信度校准的协议敏感性：同一答案的不同置信度表现
研究显示 LLM 的置信度评分及两种置信度指标的对比受测量协议影响。改变上下文使 ECE 差异从 0.287 变为 0.304，AUROC 从 0.189 变为 0.145，在 19/20 设置中 95% 置信区间排除零。 主要效应源于指令变化而非答案位置，且结论在最大 72B 参数的模型中依然成立。 作者据此提出了 LLM 置信度及其比较的报告清单。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。