跳到正文
arXiv · AI· Shihao Weng, Yang Feng, Xiaofei Xie·· 23 小时前AI 评分37

四项测试原则揭示 LLM 安全评判器缺乏策略不变性

Are LLM Safety Judges Policy-Invariant? A Three-Principle Stress-Test

AI 导读

现有 LLM 安全评判器难以区分规范性改变与无意义改写,内容保持的政策重写导致高达 9.1% 的判决翻转。 18-43% 的判决翻转发生在无歧义案例上,且该失效模式在前沿模型中依然显著。 研究提出策略不变性评分与评判器卡片协议,已被 NeurIPS 2026 接收并开源相关代码。

来源:arXiv · AI · arxiv.org