PrefDiag-Bench 诊断 Mobile GUI 代理个性化故障

2026 年 10 月 23 日，Zhixin Lin 等人在 arXiv 发布论文，引入 PrefDiag-Bench 基准。该基准包含 1664 个探针，用于诊断 GUI 代理系统在个性化任务中的故障机制。 研究团队评估了 11 个 GUI 代理系统，涵盖端到端代理及工作流，测试其处理显式用户画像及行为记忆日志两种上下文的能力。结果显示模型在偏好个性化任务中的表现显著低于普通任务，普遍存在难以从历史选择相关证据及识别偏好生效时机的问题。 其中最优模型 Seed-2.0-Pro 在显式用户画像的 Process 偏好任务中完成率仅为 47.17%。研究发现提供相关证据的干预措施可使端到端任务成功率最高提升 7.06%，揭示了故障发生的具体环节与干预有效性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。