跳到正文
arXiv · NLP· Honglin Guo, Qi Zhang, Yu Zhang, Weijie Li, Rui Zheng, Zhikai Lei, Qiyuan Peng, Zhiheng Xi, Tao Gui, Qi Zhang·· 6 小时前AI 评分28

Agora: 面向智能体职场文档推理的档案基准测试

AGORA: An Archive-Grounded Benchmark for Agentic Workplace Document Reasoning

AI 导读

Agora 是一个包含 362 个问题和 8 个领域共 9664 份真实文档(372M tokens)的基准测试,强制智能体进行有目的的探索而非全量扫描。 该基准通过智能体流水线构建,结合跨文档任务合成与去混淆;评估显示最强模型准确率仅 59.4%,表明任务远未解决。

来源:arXiv · NLP · arxiv.org