跳到正文
arXiv · AI· Christopher M. Stewart, Preston Botter, Natalie Sarabosing, Muye Zhang, Rachel Phinnemore, Shalini Ghosh, Hong Shen, Hoda Heidari·· 2026-10-09AI 评分29

HELM Safety 基准中“有害拒绝”的测量学审计

Searching for "Harmful Refusal": A Psychometric Audit of an AI Safety Benchmark

AI 导读

summary_zh: 作者对 HELM Safety 基准中的“有害拒绝”属性进行测量学审计,旨在检验其是否具备单一可测量的构念效度。 审计发现 HELM Safety 的四个数据集中有三个已饱和,且剩余数据集 HarmBench 的多维项目反应理论建模显示其并非测量单一属性。

来源:arXiv · AI · arxiv.org