arXiv · ML· Ran Li, Lei Chen·· 17 小时前AI 评分35
SKILL2STEER：单次遍历超网络将自然语言技能映射为低秩块后激活偏移
SKILL2STEER: One-Pass Hypernetwork for Mapping Natural-Language Skills to Low-Rank Post-Block Activation Shifts
AI 导读
SKILL2STEER 提出单次遍历超网络，将自然语言技能映射为低秩激活偏移，避免在提示词中保留技能文本。 每个技能编译为 2.36M 参数，比权重空间适配器少 9.25 倍，且基础权重保持冻结。在 SearchQA 上，SKILL2STEER 达到 37.9 的精确匹配率，比冻结模型高 9.8 分。
来源：arXiv · ML · arxiv.org