arXiv · NLP· Yuhao Wang, Yucheng Zhao, Yiran Zhong, Feida Zhu, Hongcheng Liu, Qichao Wang, Ming Ma, Yu Wang·· 3 天前AI 评分30
Omni-Workspace:全模态 AI 助手多模态工作区任务基准
Omni-Workspace: Benchmarking Omni-Modal AI Assistants on Multimodal Workspace Tasks
AI 导读
Omni-Workspace 包含 380 个深度研究风格任务,涵盖四种多模态工作区类型和两个难度等级,用于评估全模态智能体。 18 个代表性模型评估显示,最佳模型平均分仅为 65.93,暴露出多模态上下文膨胀和任务状态漂移等长程执行局限。 该基准推动了全模态智能体在复杂任务自主完成方面的评估与发展。
来源:arXiv · NLP · arxiv.org