arXiv · ML· Pedro Carvalho Brom·· 5 小时前AI 评分27
分类型决策模型的参考审计:置信度无法保证单次决策准确性
Confidence Is Not a Promise: A Reference Audit of Typed Decision Models
AI 导读
该研究审计了开源模型 Laya 与 Jev 1.13 在 190 次可交换评估中的置信度表现,发现点估计阈值在 147 次评估中未能兑现准确性承诺,而 Learn then Test 规则在所有评估中均保持该承诺。
来源:arXiv · ML · arxiv.org