arXiv · NLP· Boyuan Zhang, Mohammad Zandsalimy, Shanu Sushmita·· 8 小时前AI 评分41
模型“恐惧”的词:从拒绝方向到词汇表级恐惧词典
Which Words a Model Fears: From a Refusal Direction to a Vocabulary-Wide Fear Lexicon
AI 导读
在8个对齐模型中,特定有害词通过单一隐藏状态方向改变生成边界,该方向上的投影可单调预测拒绝率。 利用该方向构建全词汇表恐惧/勇气词典,插入未见过的恐惧词会提升拒绝率,而将最恐惧词替换为保义同义词可显著提高回答率。 这一发现揭示了词元层面的线性拒绝机制,为安全微调提供可量化工具。
来源:arXiv · NLP · arxiv.org