跳到正文
arXiv · NLP· Mohammad Tehabsim, Basil Al-Housani, Nour Alhussien, Phung Lai·· 10 天前AI 评分28

部署感知评估:超越 AUROC 的模型内部越狱检测器

Beyond AUROC: Deployment-Aware Evaluation of Model-Internal Jailbreak Detectors

AI 导读

研究指出模型内部越狱检测器的实际安全价值取决于低误报率操作点行为,而非仅依赖 AUROC 指标。在 4 类检测器、4 个 LLM 和 12 类越狱攻击评估中,仅在精选良性提示上校准阈值常无法在真实用户流量中维持误报率预算。

来源:arXiv · NLP · arxiv.org