arXiv · NLP· Janhavi Khindkar, Nataliia Povarova·· 3 天前AI 评分20
Gemma-2 拒绝语域的方向可因果操控:分解与类别对齐的组件
Refusal Register is Causally Steerable: Decomposing the Refusal Direction into Category-Aligned Components in Gemma-2-9B-IT
AI 导读
研究表明 Gemma-2-9B-IT 中拒绝相关的线性方向可操控模型拒绝语域,而非仅控制是否拒绝。 在 9B 模型第 20 层注入差异均值方向,使内容安全词汇每百词从 2.55 升至 10.37,随机对照仅 1.13-2.16。 9B 模型中 B1 方向因果效应显著大于 B2,揭示 B1 编码类别检测与词汇信息,B2 主要编码类别检测。
来源:arXiv · NLP · arxiv.org