arXiv · NLP· Yuting Ning, Ruijia Cheng, Sushobhan Ghosh, Peitong Duan, HungShi Lin, Abhishek Sundararajan, Shreyash Pandey, Huan Sun, Jeffrey Nichols, Eldon Schoop·· 4 小时前AI 评分28
iPrefBench：面向移动个性化使用智能体的用户中心基准测试
iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents
AI 导读
iPrefBench 是一个评估个人移动使用智能体“推断”与“询问”能力的基准测试。 它在可执行的 iOS 环境中包含 130 个跨 26 款应用的不完整用户任务，基于包含 3,051 个历史活动事件的连贯用户画像构建。 对 7 个前沿智能体的评估显示，它们行动完成率高（最高 91.6%）但全任务成功率低（最高 47.7%），在个性化方面存在显著差距。
来源：arXiv · NLP · arxiv.org