arXiv · AI· Jenny Yang, Elizabeth Proehl, Anjan Bharadwaj, Emily Fan, Charlotte Cole, James Kim, Noam Brown, Phoebe Thacker, Amelia Glaese, Tejal Patwardhan·· 15 天前AI 评分52
LifeVal:评估 AI 模型在个性化智能体消费者任务中的表现
LifeVal: Evaluating AI Model Performance on Personalized Agentic Consumer Tasks
AI 导读
研究者发布 LifeVal 基准,用于评估 AI 模型在 148 个高价值个性化消费者任务上的表现。该基准覆盖年度支付意愿超 1.7 万亿美元的生活场景,基于 3800 名消费者的调研数据构建活动分布。评测任务由具备多年实战经验的创建者使用真实 ChatGPT 对话和记忆数据生成,并经过至少三轮人工质量控制。
来源:arXiv · AI · arxiv.org