跳到正文
arXiv · ML· Tora Bodin, Eric Aubinais, Ilaria Torre, Chih-Hong Cheng·· 2026-10-15AI 评分35

Genesis Steering:通过训练数据实现更好的激活引导

Genesis Steering: Better Activation Steering Through Training Data

AI 导读

提出 Genesis Steering 方法,利用模型自身微调数据中的对比示例推导“创世向量”以优化推理时的激活引导,并建立关于决策边界最优位移和代理估计偏差的理论结果。 在 Tülu-3-8B 上验证表明,来自其训练混合的安全数据产生的引导效果强于外部数据集;Llama-3.1-8B-Instruct 作为对照组显示成员推断(MIA)方法的效果依赖于数据分布方向偏移程度。

来源:arXiv · ML · arxiv.org