arXiv · ML· Leon Tu Nguyen, Rohan Menon, Rafael Tappe Maestro, Eric Aubinais, Chih-Hong Cheng·· 9 小时前AI 评分25
越狱基准测试中的隐患：攻击成功率受评估方法显著影响
Concerns in Benchmarking Jailbreaks: An Empirical Study of Attack Success Rates
AI 导读
研究揭示越狱攻击成功率（ASR）高度依赖评估标准。同一低资源攻击在关键词匹配下ASR为96.0%，在Qwen3评估器下仅2.7%。 Ollama默认温度0.8时，重复采样使关键词匹配ASR达100%，而Qwen3评估为50%。 反复采样可能暴露初始拒绝后的残余不安全行为，建议采用匹配响应预算与验证评估器。
来源：arXiv · ML · arxiv.org