arXiv · ML· Haoming Li, Defu Cao, Xu Hu, Yingtao Luo, Yiyang Wang, Xianghe Xu, Jiashu He, Wanting Jiang, Yifan Zhang, Yunhan Zhao, Siyang Wu, Chen Yang, Haixin Wang, Zheyuan Deng, Taoran Li, Jingwen Zhang, Zhejian Peng, Shushu Liang, Yue Zhao, Bingzhe Li, Feng Chen, Yifan Wang, Jintao Huang, Yijun Wang, Yuexing Hao, Xiaomin Li·· 8 小时前AI 评分43
PersonaCUABench：评测服务多样化人格的计算机使用智能体基准
PersonaCUABench: Benchmarking Computer-Use Agents Serving Diverse Personas
AI 导读
研究人员提出 PersonaCUABench，该基准包含 74 个任务，通过 44 种人格重写指令以模拟真实用户交互。在 9 个骨干模型的 3330 次运行中，相比原始请求，任务完成率平均下降 36%，且用户满意度评分也显著降低。
来源：arXiv · ML · arxiv.org