arXiv新论文指出提示注入置信度监控存在失效风险

Junwei Yao等人于2026年11月2日在arXiv发布论文《Ranked but Not Stopped》，研究基于输出概率检测提示注入劫持的置信度监控方法。该方法在AG News分类中能以0.86-0.90的AUROC识别提示注入导致的低置信度劫持，但阈值校准后仍可放行51-70%的劫持。 研究进一步发现，攻击者添加“高置信度”指令可使监控漏检率升至99-100%，此时AUROC降至0.70-0.79，表明现有监控方案在面对针对性规避时存在显著失效风险。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。