跳到正文
arXiv · NLP· Diancheng Kang, Zheyuan Liu, Ningshan Ma, Yue Huang, Zhaoxuan Tan, Meng Jiang·· 7 天前AI 评分38

GCAD 通过注意力级干预改进激活引导

Prompt-Activation Duality: Improving Activation Steering via Attention-Level Interventions

AI 导读

研究者提出 Gated Cropped Attention-Delta steering (GCAD) 方法,通过从系统提示词贡献中提取引导信号并应用 token 级门控,解决了标准残差流引导在状态化对话中因 KV-cache 污染导致的失败问题。

来源:arXiv · NLP · arxiv.org