跳到正文
arXiv · AI· Junlong Liu, Haobo Wang, Weiqi Luo, Xiaojun Jia·· 8 小时前AI 评分43

超越提示词:通过模拟审核痕迹攻击函数调用大语言模型

Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces

AI 导读

论文提出 SMT 黑盒攻击框架,利用模拟审核痕迹在状态化函数调用环境中实施越狱,突破传统提示词级攻击范式。 在五个提供商的主流商用大语言模型上,SMT 在两个标准化安全基准中取得最高平均攻击成功率和 HarmScore,且所需查询次数接近最小值。 研究证明仅靠提示词层净化无法防御工具增强型大语言模型,需实施涵盖架构、参数及对话状态的上下文感知验证。

来源:arXiv · AI · arxiv.org