arXiv · NLP· Xiaohongshu Dots Studio, Evolvent AI·· 11 天前AI 评分45
VibeLifeBench:生活智能体能否在真实世界中保持主动与坚持?
VibeLifeBench: Can Your Life Agent Be Proactive and Persistent in a Living World?
AI 导读
VibeLifeBench提出一个包含200项长周期任务的基准,用于评估LLM智能体在模拟现实生活中的主动性与持久性。该基准涵盖10个日常领域,涉及22个模拟服务,任务周期长达数周且世界状态会自行变化。 该基准评估了7个前沿模型,所有模型得分均较低,揭示了当前智能体在辅助真实生活方面的显著差距。
来源:arXiv · NLP · arxiv.org