arXiv · NLP· Haoyan Luo, Mateo Espinosa Zarlenga, Mateja Jamnik·· 16 小时前AI 评分23
Don't Lose Focus:通过键正交投影的激活引导
Don't Lose Focus: Activation Steering via Key-Orthogonal Projections
AI 导读
针对 LLM 激活引导导致推理性能下降的问题,论文提出键正交投影(SKOP)方法。 SKOP 通过限制注意力重路由,保留关键焦点 token 的注意力模式,同时允许次要 token 间重新分配。 在多个基准测试中,SKOP 将效用退化降低 5-7 倍,同时保留超过 95% 的标准引导效率,在长上下文检索中表现鲁棒。
来源:arXiv · NLP · arxiv.org