arXiv · ML· Moreno D'Inc\`a, Nicu Sebe, Massimiliano Mancini·· 10 小时前AI 评分27
MARS:利用文本拒绝对齐方向实现跨模态安全引导
Harnessing Textual Refusal Directions for Multimodal Safety
AI 导读
研究者提出免训练方法 MARS,通过激活中心化和自适应缩放注入多模态安全性,无需收集多模态安全数据。 方法在五个 SOTA MLLM 上验证,兼顾安全性提升与效用保持,并解决跨模态对齐导致的误拒问题。 结果揭示了安全相关结构在模态间的共享性,证实文本拒绝对齐是多模态对齐的有效基础。
来源:arXiv · ML · arxiv.org