arXiv · AI· Justice Ou, Lanming Ma, Zijian Zhang, Yilun Zhao·· 10 天前AI 评分38
InfoOrgBench:评估智能体构建层级信息架构能力的基准
InfoOrgBench: Can Agents Turn Scattered Information into Coherent Hierarchies?
AI 导读
InfoOrgBench 包含 150 个任务,测试智能体将会议记录等散乱信息组织为层级结构的能力。 评估 45 个系统显示最优分 83.2,但会议记录任务得分未超 78;模型选择对分数影响(跨度约 27 分)远大于 Agent harness 选择。 结果表明父级关系错误率高于叶级,设计提案中近半数输出存在此类高层级错误。
来源:arXiv · AI · arxiv.org