arXiv · ML· Yuyang Dai, Yuting Tang, Futoshi Futami, Takashi Ishida·· 2026-10-14AI 评分26
ProbabilityBench:基于精确真值不确定性的模型评估与校准基准
ProbabilityBench: Model Evaluation and Calibration with Exact Ground-Truth Uncertainty
AI 导读
ProbabilityBench 是提供精确实例级类别概率的基准,涵盖同行评审、隐蔽信息传输和信贷风险三个模拟文本域。 该基准通过分析数据生成过程计算精确类概率和贝叶斯误差,保证自然语言备忘录严格保留生成概率,并通过 KL 散度直接衡量报告概率质量。
来源:arXiv · ML · arxiv.org