arXiv · ML· Mahmoud Abbasi, Juan M. N\'u\~nez V., Amin Shahraki·· 4 小时前AI 评分25
标准评测如何掩盖 LLM 智能体劫持检测器的局限性：稀有攻击、未知工具与基准迁移
What Standard Evaluations Hide About Detectors of Hijacked LLM Agents: Rare Attacks, Unseen Tools and Benchmark Transfer
AI 导读
审计显示，现有 LLM 智能体劫持检测器在 2% 攻击率下精度仅 0.076，且跨基准迁移性能接近随机水平。 未见过的新工具会导致检测排名在 50% 覆盖率下逆转，且 AgentDrift 到 AgentDojo 的跨基准 AUROC 仅 0.47 至 0.52。 研究团队基于这些发现制定了评估痕迹检测器的新检查清单。
来源：arXiv · ML · arxiv.org