arXiv · NLP· Doniyorkhon Obidov, Honggang Yu, Xiaolong Guo, Kaichen Yang·· 11 天前AI 评分23
AttentionSwitch:基于稀疏注意力头选择与缩放联合学习的 LLM 越狱防御方法
AttentionSwitch: Jailbreak Defense for LLMs via Joint Learning of Sparse Attention-Head Selection and Scaling
AI 导读
AttentionSwitch 提出首个联合优化冻结 LLM 中干预位置与强度的越狱防御方法,学习稀疏注意力头集合及查询条件乘法缩放因子。 该方法在流行语言模型和越狱攻击上表现优于现有防御,尤其在训练数据稀缺时效果显著。
来源:arXiv · NLP · arxiv.org