跳到正文
arXiv · AI· Shirley Anugrah Hayati, Patricia Anugrah Setiani, Ruizi Wang, Zhouyi Li, Khanh Chi Le, Young-Jun Lee, Dongyeop Kang·· 2026-10-16AI 评分33

Kolab:长流程工作中人机协作的基准测试

Kolab: Benchmarking Human-Agent Collaboration in Long-Horizon Workflows

AI 导读

Kolab 数据集包含 50 名来自 40 个职业的专业人士与 AI 智能体协作的 115 小时屏幕录制及质量判断。 该基准测试智能体预测专业用户采纳、修改或拒绝贡献的能力,并评估协作质量。 前沿模型高估了与专家的协作效果,难以区分高、低质量协作,Kolab 为此提供了真实数据支持。

来源:arXiv · AI · arxiv.org