arXiv · NLP· Yekun Chai, Qiwei Peng, Haoyi Xiong·· 2026-10-05AI 评分33
XiangqiBench:LLM 智能体闭环评估基准
Finding the Move Is Not Winning the Game: XiangqiBench for Closed-Loop Evaluation of LLM Agents
AI 导读
团队推出 XiangqiBench 基准,通过中国象棋残局测试 LLM 智能体在对手应对下的闭环执行能力。 该基准基于 119 个战术残局,记录 12 个前沿模型的 8,568 条多轮轨迹。研究发现模型存在转换、一致性和模拟三重差距,静态评估高估了实际胜率。 研究指出智能体评估应关注闭环结果并同步报告可靠性。
来源:arXiv · NLP · arxiv.org