arXiv · NLP· Vahid Jebraeeli, Jonathon Romero, Yijin Wang, Adrian Chan, Jianbang Zhang·2026-10-20 12:00· 6 小时前AI 评分23

研究发现模型安全基准测试易受策略定义影响而非仅测能力

Policy Is Not Capability: Some Safety Benchmarks Measure Which Definition of "Unsafe" You Trained On

AI 导读

同一模型在两种“不安全”定义下安全基准分数差异可达23倍，且部分基准已被训练集污染。 0.03%的参数量变动即可使基准分数覆盖全区间，模型来源成为未记录的混杂因素。研究者主张评估应公开污染、随机种子下限及评分定义。

来源：arXiv · NLP · arxiv.org