新基准Collaborative Intelligence发布,评估AI协作短板
热点事件持续更新
新基准Collaborative Intelligence发布,评估AI协作短板
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Sean Wu等人于2026年11月3日在arXiv发布协作智能基准(Collaborative Intelligence Benchmark),包含240个覆盖8个维度的团队协作任务。该基准源自航空事故报告、临床案例等真实记录,且任务结果可程序化验证。 研究评测了18个闭源和开源模型,发现最佳模型得分仅为82.2分。为隔离协作与个人能力,仅对模型在拥有完整信息时可独立解决的任务进行评分。基准包含160个公开任务和80个保留任务。 结果显示前沿模型在拒绝不安全捷径方面表现良好,但在人际压力下达成协议的比例仅14%。当接手较弱模型未完成任务时,成功率从97%降至81%,表明当前AI作为队友仍存在明显弱点。
AI 根据报道生成 · 1 小时前更新
最新进展11月3日 13:00
推出评估AI智能体协作能力的基准Collaborative Intelligence报道时间线
沿着报道,了解事件的不同侧面。
11月3日
- arXiv · AI推出评估AI智能体协作能力的基准Collaborative Intelligence
论文提出名为 Collaborative Intelligence Benchmark 的基准,包含 240 个覆盖 8 个维度的团队协作任务。评估了 18 个闭源和开源模型,发现最佳模型得分仅为 82.2。前沿模型在拒绝不安全捷径方面表现良好,但在人际压力下达成协议的比例仅 14%,且接手较弱模型未完成任务的成功率从 97% 降至 81%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。