arXiv · AI· Conor Igoe, Gabriel Grand, Zane Koch, Albert Bou, Eli Moss, Michaela M. Hinks, Samuel G. Rodriques, Andrew White, Siddharth Narayanan·· 5 小时前AI 评分33
EDB-Bio 基准测试：大语言模型在科学证据推理中的校准缺陷与改进
Do Language Models Know What Compelling Scientific Evidence Looks Like?
AI 导读
研究引入 EDB-Bio 基准，测试大语言模型在生物领域证据推理中的表现。该基准包含 9.6 万条实验序列，要求模型预测假设成立的概率。 结果显示，开源与前沿模型均存在系统性过度自信，Brier 分数仅与基线预测器相当。
来源：arXiv · AI · arxiv.org