跳到正文
arXiv · ML· Yuyang Dai, Yuting Tang, Futoshi Futami, Takashi Ishida·· 2026-10-14AI 评分26

ProbabilityBench:基于精确真值不确定性的模型评估与校准基准

ProbabilityBench: Model Evaluation and Calibration with Exact Ground-Truth Uncertainty

AI 导读

ProbabilityBench 是提供精确实例级类别概率的基准,涵盖同行评审、隐蔽信息传输和信贷风险三个模拟文本域。 该基准通过分析数据生成过程计算精确类概率和贝叶斯误差,保证自然语言备忘录严格保留生成概率,并通过 KL 散度直接衡量报告概率质量。

来源:arXiv · ML · arxiv.org