跳到正文
热点事件持续更新

RealCLI基准发布

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

2026年10月19日,arXiv发布论文提出RealCLI,这是首个统一评估CLI智能体任务执行与人机协作质量的成对基准。 该基准构建了5个维度、22个子维度及51个交互场景模板,并通过REALCLI-COLLAB模式引入脚本化用户模拟,实现渐进式指令修正。 实验表明前沿模型最佳配置平均得分仅49.2%,联合协作得分峰值仅37.6%,暴露出其在可引导性与安全边界管理上的显著能力差距。

AI 根据报道生成 · 7 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. arXiv · NLP
    RealCLI 提出 CLI 智能体人机协作统一评测基准

    RealCLI 发布首个统一评估 CLI 智能体任务执行与人机协作质量的成对基准。该基准构建 5 个维度、22 个子维度及 51 个交互场景模板,并通过 REALCLI-COLLAB 模式引入脚本化用户模拟渐进式指令修正。 实验显示前沿模型最佳配置平均得分仅 49.2%,联合协作得分峰值仅 37.6%,暴露出在可引导性与安全边界管理上的显著能力差距。

本事件热度走势

可比范围当前
8
可比范围峰值
1010月19日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。