跳到正文
热点事件持续更新

iPrefBench个性化移动智能体基准发布

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Yuting Ning等人发布iPrefBench基准,用于评估个人移动智能体在可执行iOS环境中的推断与询问能力,任务基于3,051个历史事件构建的用户画像。 对7个前沿智能体的测试显示,尽管行动完成率最高达91.6%,但全任务成功率最高仅47.7%,揭示出当前模型在个性化复杂任务处理上的显著差距。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv · NLP
    iPrefBench:面向移动个性化使用智能体的用户中心基准测试

    iPrefBench 是一个评估个人移动使用智能体“推断”与“询问”能力的基准测试。 它在可执行的 iOS 环境中包含 130 个跨 26 款应用的不完整用户任务,基于包含 3,051 个历史活动事件的连贯用户画像构建。 对 7 个前沿智能体的评估显示,它们行动完成率高(最高 91.6%)但全任务成功率低(最高 47.7%),在个性化方面存在显著差距。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。