arXiv · NLP· Xin Cheng, Junming Yang, Ning Xu·· 2026-10-14AI 评分36
APB:通过多轮主动探测评测大语言模型通用谜题解题能力
Query Your Way Out: Benchmarking Multi-Turn Knowledge Reasoning through Generalized Puzzle Solving
AI 导读
研究提出通用谜题解题基准 APB,要求模型通过多轮主动探测与推理,在 8 个学术领域识别 960 个目标概念。 评测发现反直觉现象:多数开源推理模型表现显著低于其标准指令模型版本。 该基准为生成可交互的领域知识推理评测提供了可扩展流水线。
来源:arXiv · NLP · arxiv.org