arXiv · NLP· Yunqi Liu, Peiyu Wang, Bingli Wang, Leo Luo, Xuanwu Song, Xudong Ma, Hongxin Li, Yaxin Du, Weicheng Gu, Fanglin Xu, Yi Xing, XiangLong Liu, Jujie He, Zhange Zhang, Huatong Song, Zhaoyi Li, Deyang Kong, Chuan Hao, Peihao Wu, Mingjie Tang, Ran Tao, Jian Yang, Wayne Xin Zhao, Bryan Dai·· 8 小时前AI 评分35
RealCLI 提出 CLI 智能体人机协作统一评测基准
RealCLI: Toward a Unified Evaluation of Human-Agent Collaboration for CLI Agents
AI 导读
RealCLI 发布首个统一评估 CLI 智能体任务执行与人机协作质量的成对基准。该基准构建 5 个维度、22 个子维度及 51 个交互场景模板，并通过 REALCLI-COLLAB 模式引入脚本化用户模拟渐进式指令修正。 实验显示前沿模型最佳配置平均得分仅 49.2%，联合协作得分峰值仅 37.6%，暴露出在可引导性与安全边界管理上的显著能力差距。
来源：arXiv · NLP · arxiv.org