arXiv · AI· Kiant\'e Fernandez, Caitlin Chen, Jialu Zhou, Bartek Sadowski, Anthony C. Miceli, Ian Krajbich·· 5 小时前AI 评分24
CogArena: 多模态智能体交互式行为实验基准
CogArena: Benchmarking Multimodal Agents on Interactive Behavioral Experiments
AI 导读
CogArena 发布,包含 10 个社科行为范式,Agent 通过标准浏览器完成实验。三级评分系统评估任务完成度、准确率及行为特征。 四项多模态模型测试表明,完成实验与复现特征并非必然同步,部分会话未完成或特征复现不稳定。CogArena 提供任务、代码及公开排行榜。
来源:arXiv · AI · arxiv.org