跳到正文
arXiv · AI· Hanfeng Liu, Zhenyu Luo, Dongchao Zhang, Zexi Liu, Zulong Chen, Jinxin Hu, Jia Xu, Zeyi Wen·· 2 天前AI 评分35

OfficePrism:评估智能体在企业七大业务功能单一领域操作能力的基准测试

OfficePrism: Benchmarking Agents on Single-Domain Operations Across Enterprise Business Functions

AI 导读

OfficePrism 构建了包含 420 项单一领域企业任务的基准,覆盖七大业务功能。测试涉及 124 种配置,自然语言与数据库联合通过率为 22.6% 至 76.4%,中位数 67.9%。 结果显示,L1 级别在所有配置中表现最佳,L2 在 122 种配置中超过 L3。在 50 种共享标签配置中,搜索与分发方案在 30 种情况下得分更高。

来源:arXiv · AI · arxiv.org