arXiv · ML· Hunar Batra, Lachin Naghashyar, Ashkan Khakzar, Philip Torr, Christian Schroeder de Witt, Constantin Venhoff, Ronald Clark·· 9 天前AI 评分37
MMDiff 框架:通过多模态模型差分实现特征发现与控制
Multimodal Model Diffing for Feature Discovery and Control
AI 导读
研究团队提出 MMDiff 框架,利用多模态稀疏自编码器对 LLaVA-MORE 等模型进行特征级控制。 移除特定特征可使空间任务性能平均下降 12%,OCR 下降 17%,多模态安全攻击成功率降低 24%。 该方法证明多模态 SAE 可作为审计和引导大语言模型行为、提升安全性的有效机制。
来源:arXiv · ML · arxiv.org