arXiv · AI· Tianyu Chen, Chujia Hu, Dongrui Liu, Xia Hu, Wenjie Wang·· 2026-10-05AI 评分37
LPS-Bench:电脑使用智能体在长程规划中的安全意识基准
LPS-Bench: Benchmarking Safety Awareness of Computer-Use Agents in Long-Horizon Planning under Benign and Adversarial Scenarios
AI 导读
LPS-Bench 是一个包含 570 个用例的基准测试集,用于评估电脑使用智能体在长程规划中的安全意识。该基准涵盖 7 个任务领域和 9 种规划风险类型,通过 LLM 评估器对 13 个 LLM 智能体进行测试。评测结果显示这些智能体在良性和对抗场景下均存在持续的安全失败,且提示词干预的效果具有模型依赖性。
来源:arXiv · AI · arxiv.org