arXiv · AI· Zixuan Weng, Haoqi He, Weifei Jin, Yue Huang, Yang Bai·· 2026-10-12AI 评分30
Attention Sees, MLP Refuses: Tracing the Attention-to-MLP Safety Pathway in LLMs
Attention Sees, MLP Refuses: Tracing the Attention-to-MLP Safety Pathway in LLMs
AI 导读
研究揭示在18个Base-Instruct模型对中,有害性信息更易从Attention更新中解码,而MLP更新在对齐模型中更强烈地贡献拒绝生成。 针对Qwen、Llama和Gemma模型,训练后MLP拒绝生成增强但未系统性提升有害性可解码性,且深层MLP的正面生成更集中。
来源:arXiv · AI · arxiv.org