arXiv · ML· Ananth K Suresh, Aveen Dayal, Gouthaman KV, Aditya Pola, Vineeth N Balasubramanian·· 5 小时前AI 评分40
多模态大语言模型拒绝机制研究：指令、后训练与内部激活的影响
When Visual Evidence Is Insufficient: How Instructions, Post-Training, and Internal Activations Shape Refusal in Multimodal Language Models
AI 导读
研究揭示了多模态大语言模型在视觉证据不足时的拒绝行为由指令、后训练和内部激活共同塑造。 指令的含义和位置对拒绝率影响显著，且存在模型特定的样本级变化；后训练会增加拒绝率，但可能诱发“拒绝语言+尝试回答”的混合响应。 发现激活干预能产生跨提示条件可迁移的小幅变化，提示需将证据识别与模型固有的拒绝倾向解耦。
来源：arXiv · ML · arxiv.org