arXiv · AI· Peiran Wang, Chong Xiang, Wenjie Qu, Ying Li, Jiaheng Zhang, G. Edward Suh, Yuan Tian·· 10 天前AI 评分26
MetaPI:基于 LLM 智能体基准构建提示注入评测框架
MetaPI: Constructing Prompt Injection Benchmarks from LLM Agent Benchmark
AI 导读
MetaPI 提出了一种针对 LLM 智能体间接提示注入(IPI)的元基准评测方法,可将现有效用基准自动转化为端到端 IPI 评测套件。该工具具备模块化接口,支持异构环境、智能体及防御机制,已在 AppWorld、VitaBench 和 Terminal-Bench 上验证其可扩展性。实验表明,在现实的自适应 IPI 场景下,现有防御手段无法同时兼顾高效用与强安全性。
来源:arXiv · AI · arxiv.org