arXiv · AI· Sahar Abdelnabi, Aideen Fay, Ahmed Salem, Egor Zverev, Kai-Chieh Liao, Chi-Huang Liu, Chun-Chih Kuo, Jannis Weigend, Danyael Manlangit, Alex Apostolov, Haris Umair, Jo\~ao Donato, Masayuki Kawakita, Athar Mahboob, Tran Huu Bach, Tsun-Han Chiang, Myeongjin Cho, Hajin Choi, Byeonghyeon Kim, Hyeonjin Lee, Benjamin Pannell, Conor McCauley, Mark Russinovich, Andrew Paverd, Giovanni Cherubin·· 2026-10-12AI 评分49
LLMail-Inject 数据集发布,揭示 GPT-4o 等模型在面对自适应提示注入攻击时高达 58% 的攻击成功率。
LLMail-Inject: A Dataset from a Realistic Adaptive Prompt Injection Challenge
AI 导读
该基准包含 208,095 个人工撰写的提示词,要求攻击需绕过生产级防御并触发工具调用。Meta SecAlign 模型仍存在 32% 的攻击成功率,且攻击在代码任务中可迁移。 论文被 EMNLP 2026 录用,旨在推动对动态、高保真提示注入攻击的评估,填补现有基准饱和的空白。
来源:arXiv · AI · arxiv.org