跳到正文
arXiv · ML· Srikanth Malla, Chiho Choi, Joon Hee Choi·· 10 天前AI 评分35

拒绝行为的几何结构:事后安全训练的脆弱性与预训练期持久性的分析

The Geometry of Refusal: Why Post-Hoc Refusal Is Fragile and Pretraining-Time Refusal Persists

AI 导读

跨5个模型族的几何分析表明,RLHF和DPO等事后安全训练仅形成“薄而尖锐”的抑制门控,未消除潜在能力。 具体数据显示,在Qwen-2.5-7B-Instruct和Llama-3-8B-Instruct上,100个良性微调样本即可将AdvBench拒绝率降低35至38个百分点。 相比之下,预训练阶段的安全协同训练可使410M至6.9B模型的拒绝率维持在87%至98%区间。

来源:arXiv · ML · arxiv.org