arXiv · AI· Austin Tudor David Andrews, Liam Wilkinson, Jamie Heagerty, Harry Coppock, Jakob Nicolaus Foerster, Rui Ponte Costa·· 8 小时前AI 评分38
CivBench：基于《文明 6》的长程 MCP 智能体开源基准
CivBench: A Long-Horizon Benchmark for Tool-Mediated Agents in Civilization VI
AI 导读
研究团队发布开源基准 CivBench，用于在《文明 6》游戏中评估 LLM 智能体基于 MCP 协议的长程工具调用能力。 该基准包含 76 个 MCP 工具，单局游戏可超过 300 轮对话。研究通过 23 次试点运行发现，智能体在主动监控率和短期承诺执行率（RAG@10 为 48.2%-65.8%）上表现不佳。 CivBench 环境、场景日志及分析管道已开源发布。
来源：arXiv · AI · arxiv.org