arXiv · NLP· Qiyao Ma, Xiaodong Liu, Weiwei Yang, Mingqian Feng, Chengquan Guo, Jialin Song, Carolyn Buractaon, Zhe Zhao, Junshan Zhang, Sandeep Atluri, Christopher White, Jianfeng Gao·· 21 天前AI 评分33
ShallowDefend:利用浅层安全对齐实现多轮对话防御
ShallowDefend: Harnessing Shallow Safety Alignment for Multi-Turn Defender
AI 导读
ShallowDefend 提出“评估→决策→回复”框架,通过强化学习在多轮对话中实现显式安全决策,在14项基准测试中达到最强多轮安全性能。 该框架利用浅层对齐特性,将安全行为集中于模型输出的前几个 token,通过可解析的标签和自验证奖励机制进行训练,无需外部评判模型。 这种防御机制将攻击者利用的浅层特性转化为防御工具,在保持安全性的同时以适度的实用性成本维持效用。
来源:arXiv · NLP · arxiv.org