arXiv · AI· Yicheng Tao, Yuante Li, Zipei Fan·· 2 天前AI 评分31
ForecastGym 发布:用于预测智能体的实时、受控且可回放基准测试
ForecastGym: A Live, Controlled, and Replayable Benchmark for Forecasting Agents
AI 导读
ForecastGym 通过记录 4 个商业搜索 API 对 150 个预测问题的响应,构建了包含 614 个证据状态和 131k 条结果的冻结基准。 该基准揭示了证据来源的重要性:更换搜索 API 可使 Brier 分数变化达 0.043,且持续笔记策略能以一半输入 token 取得相似评分。 所有测试 LLM 在冻结证据下的预测准确率均落后于市场,表明预测者看到的证据与模型本身同样重要。
来源:arXiv · AI · arxiv.org