arXiv论文揭示安全基准受策略定义显著影响

2026年10月18日，Vahid Jebraeeli等人在arXiv的NLP领域发布论文《Policy Is Not Capability: Some Safety Benchmarks Measure Which Definition of "Unsafe" You Trained On》。该论文已被悉尼举办的NeurIPS 2026 TAE（Trust-AI-Eval）研讨会接收为海报展示。 研究发现，模型在安全基准测试中的表现并非仅反映其能力，而是极易受“不安全”策略定义的影响。实验显示，同一模型在两种不同的“不安全”定义下，安全基准分数差异最高可达23倍。此外，研究指出部分基准测试已被训练集污染，模型来源成为未被记录的混杂因素，仅有0.03%的参数量变动即可导致基准分数覆盖全区间。 基于此，研究者主张未来的评估应当公开数据污染情况、设定随机种子下限以及明确评分定义，以应对策略定义带来的敏感性挑战，而非仅仅将其视为静态的能力测试。

AI 根据报道生成 · 4 小时前更新