arXiv · AI· Zhihua Wei, Qiang Li, Jian Ruan, Zhenxin Qin, Leilei Wen, Ruiyang Qin, Qingzhuo Wang, Dongrui Liu, Wen Shen·· 6 小时前AI 评分23
视觉语言模型越狱的表示偏移理解与防御方法
Understanding and Defending VLM Jailbreaks via Jailbreak-Related Representation Shift
AI 导读
研究发现视觉语言模型越狱源于视觉模态将表示空间向特定越狱状态偏移，而非识别失败。 研究量化了这种越狱相关偏移（JRS），并提出推理时移除该偏移的防御方法 JRS-Rem。实验显示 JRS-Rem 在多种场景下提供强防御，且保持良性任务性能。
来源：arXiv · AI · arxiv.org