arXiv · AI· Liqin Ye, Haorui Wang, Fardin Ahmed, Rongzhi Zhang, Yuan He, Ziyuan Lin, Yanbin Yin, Jing Peng, Michael Galarnyk, Sudheer Chava, Chao Zhang·· 24 天前AI 评分32
Forecast-Dojo:用于 LLM 预测智能体基准测试与训练的实时回放环境
Forecast-Dojo: Replayable Environments for Benchmarking and Training LLM Forecasting Agents
AI 导读
研究者推出 Forecast-Dojo 可回放环境,包含 1,568 个 Polymarket 事件及 1880 万篇新闻,用于 LLM 预测智能体的评估与训练。 跨 12 个模型测试发现,研究工具能提升预测性能,且所有模型表现均落后于历史市场预测。基于该环境微调 Qwen3-30B-A3B-Thinking-2507,其评估集准确率从 34.8% 提升至 42.8%。
来源:arXiv · AI · arxiv.org