arXiv · AI· Yitong Zhang, Shiteng Lu, Jia Li·· 5 小时前AI 评分41
语法约束解码可越狱 LLM 生成恶意代码
Grammar-Constrained Decoding Can Jailbreak LLMs into Generating Malicious Code
AI 导读
研究揭示语法约束解码（GCD）本身可成为攻击面，提出新越狱攻击 CodeSpear 可诱导 LLM 生成恶意代码。 CodeSpear 仅应用良性代码语法约束即可有效越狱，在 4 个基准测试上平均提高 30 个百分点的攻击成功率；防御方案 CodeShield 通过生成无害蜜罐代码在攻击下恢复安全。 该发现揭示了 GCD 的根本性安全风险，呼吁关注其潜在安全影响。
来源：arXiv · AI · arxiv.org