跳到正文
arXiv · AI· Lujia Zhong, Yihao Xia, Jianwei Zhang, Shuo Huang, Xinyu Nie, Mingyang Xia, Zhiwei Deng, Jiaxin Yue, Xinkai Wang, Junhan Zhao, Yonggang Shi·· 7 天前AI 评分39

NIBench 评测自主 AI 智能体在神经影像分析中的执行、技能进化与科学判断能力

NIBench: benchmarking autonomous AI agents for execution, skill evolution and scientific judgment in neuroimaging

AI 导读

NIBench 发布了一个神经影像基准,评估自主 AI 智能体的执行、技能进化与科学判断能力。 基准包含 3 项互补评估,涵盖 56 个任务、7 种工具生态系统及 36 条阿尔茨海默病研究声明。 测试了 19 种语言模型,结果显示领先智能体执行既定协议表现近乎完美,但缺乏流程指导时性能差距扩大,且蒸馏技能在未见任务上的迁移效果不一致。

来源:arXiv · AI · arxiv.org