arXiv · NLP· Honglin Guo, Qi Zhang, Yu Zhang, Weijie Li, Rui Zheng, Zhikai Lei, Qiyuan Peng, Zhiheng Xi, Tao Gui, Qi Zhang·· 6 小时前AI 评分28
Agora: 面向智能体职场文档推理的档案基准测试
AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning
AI 导读
Agora 是一个包含 362 个问题和 8 个领域共 9664 份真实文档(372M tokens)的基准测试,强制智能体进行有目的的探索而非全量扫描。 该基准通过智能体流水线构建,结合跨文档任务合成与去混淆;评估显示最强模型准确率仅 59.4%,表明任务远未解决。
来源:arXiv · NLP · arxiv.org