跳到正文
arXiv · AI· Chenhao Yuan, Bohan Yu, Yinhao Xu, Chao Yin, Chenxi Zhou, Zhaoxuan Wang, Shuwen Xu, Shaoping Huang, Haolin Ren, Jiaxiang Liu, Yao Xu, Jun Zhao, Kang Liu·· 2026-10-15AI 评分32

RuleTrek: 基准测试复杂场景下的智能体规则推理

RuleTrek: Benchmarking Agentic Rule Reasoning in Complex Scenarios

AI 导读

论文提出多领域基准 RuleTrek,用于评估智能体在复杂场景下的规则推理能力。 该基准通过构建规则图谱生成子场景,系统评估规则识别、推理及端到端任务三项指标。 在 11 个前沿 LLM 实验中,最高规则识别与推理得分仅 62.47% 和 60.43%,表明当前智能体面临重大挑战。

来源:arXiv · AI · arxiv.org