arXiv · AI· Yutao Wu, Xiao Liu, Ming Wen, Hanxun Huang, Jun Wang, Xingjun Ma·· 13 小时前AI 评分45
ScamWorld:评估 Web 智能体应对在线诈骗的交互式环境
ScamWorld: An Interactive Environment for Evaluating Web Agents Against Online Fraud
AI 导读
ScamWorld 是一个通过重建真实诈骗网站来评估 Web 智能体抵御在线诈骗能力的交互式环境。 该环境能复现多种诈骗机制以支持可控评估。研究基于 6 个前沿 LLM,发现不同模型的基线欺骗率介于 11% 至 35% 之间。 这为系统化测试智能体应对现实世界在线诈骗提供了可复用的测试床。
来源:arXiv · AI · arxiv.org