跳到正文
arXiv · NLP· Junhao Wang, Yidou Chen, Li Lu, Hongwei Yao, Xiaodan Li, Mengjie Wu, Yuefeng Chen, Zhan Qin, Kui Ren·· 5 小时前AI 评分28

Omni-UBench 基准测试全模态 LLM 安全护栏

Omni-UBench: Benchmarking Omni-Modal LLM-based Guardrails Across Safety, Utility, and Reliability

AI 导读

Omni-UBench 提出首个全模态安全评估框架,基于 183k 样本和 35+ 异构来源,从安全性、效用及可靠性三方面评测 15 个全模态大语言模型。 测试发现现有护栏难以识别跨模态隐蔽有害意图,且存在大量安全幻觉及对文本模式的过度敏感。 研究揭示了跨模态安全语义理解的不足,为开发更可靠的全模态护栏提供洞察。

来源:arXiv · NLP · arxiv.org