arXiv · NLP· Junwei Yao, Jianan Liu, Yongxi Zhou, Zike Yang·· 7 小时前AI 评分37
基于输出概率检测提示注入劫持：置信度监控有效但存在失效风险
Ranked but Not Stopped: Detecting Prompt-Injection Hijacks from Typed Decision Models' Output Probabilities
AI 导读
置信度监控在AG News分类中能以0.86-0.90的AUROC识别提示注入导致的低置信度劫持，但阈值校准后仍可放行51-70%的劫持。 攻击者添加“高置信度”指令可使监控漏检率升至99-100%，此时AUROC降至0.70-0.79。 研究指出置信度监控需针对高置信度攻击者并在运行警报率下测试。
来源：arXiv · NLP · arxiv.org