跳到正文
arXiv · AI· Victor Barres, Aden Barton, Nicolai J. Foss, Henrik M. Nielsen·· 7 小时前AI 评分31

比任务更难:AI 评测从技术难度转向组织难度的范式

Harder Than the Task: From Technical to Organizational Difficulty in AI Benchmarking

AI 导读

研究指出 AI 基准测试应超越单纯的技术任务难度,系统评估智能体应对组织内相互依存、知识分布等复杂条件的能力。 分析现有主流基准测试发现,其覆盖组织维度极为有限且不均衡,不足四分之一的基准声称涵盖此类内容。 这一视角填补了 AI 评测领域关于组织工作环境的空白,对开发能执行真实经济价值的 AI 智能体具有指导意义。

来源:arXiv · AI · arxiv.org