arXiv · NLP· Ruqiya Bin Safi·· 6 小时前AI 评分31
LLM 评分器导致“合规”类别坍缩：Jailbreak 成功率评估中的隐藏偏差及免费检测方案
The Missing Compliance Class: LLM Graders That Collapse Jailbreak Success, and a Free Check
AI 导读
固定目标模型与提示词，仅更换 LLM 评分器会导致合规响应坍缩至“逃避”类别，造成 900 条响应中合规标签计数为零。 3 个 8B/9B 参数的评分器均触发此类坍缩，且在新有害请求及第四方 7B 评分器上复现；通过检查各标签计数可无成本检测该现象。 在 8 个评分器上，合规率相差 22 至 25 倍，而非拒答率相差 18 至 23 个百分点；该结论支持将标签计数纳入最低报告标准。
来源：arXiv · NLP · arxiv.org