跳到正文
arXiv · AI· Yuxuan Wang, Yishu Wang, Jiaqi Deng·· 2 小时前AI 评分42

预测智能体基准 FABench 发布

Benchmarking Forecasting Agents on Yesterday's Tomorrows

AI 导读

FABench 发布,这是首个用于预测智能体的可扩展回测基准。 基准包含 9 个领域的 287 个问题,通过自动化管道生成以匹配模型训练截止日期,并提供结合离线档案与实时搜索的环境。 基于 8 个最新模型的评估显示,检索功能提升了所有模型的 Brier 分数,表现最佳的三个智能体在 Polymarket 关联的 54 个问题中得分略高于市场共识。代码和数据已开源。

来源:arXiv · AI · arxiv.org