arXiv · AI· Megan Li, Ningjing Tang, Christopher Stewart, Hoda Heidari, Hong Shen·· 3 天前AI 评分26
AI 安全基准开发者访谈揭示安全基准实用性与预期目标脱节
Between Rigor and Reality: How AI Safety Benchmark Developers Understand Benchmark Use and Maintenance
AI 导读
针对生成式 AI 安全基准常被引为主要风险工具却难以满足现实评估需求的现状,研究者访谈了 5 名学术界与工业界的 AI 安全基准开发者。 研究发现,基准设计预期效用与实际部署评估效用存在脱节,主要障碍包括安全构念的评分者间信度难以达成,以及外部效度威胁应对策略缺乏清晰度。 研究主张安全基准必须基于并主动融入部署环境,并建议建立学术界与工业界利益相关者之间更透明的沟通路径。
来源:arXiv · AI · arxiv.org