arXiv · ML· Tuc Nguyen, Thai Le·· 7 天前AI 评分30
INNSteer:基于可逆潜空间变换的非线性激活转向框架
Beyond Linear Activation Steering: Invertible Latent Transformations for Controlling LLM Behavior
AI 导读
研究团队提出非线性激活转向框架 INNSteer,旨在解决传统线性方法难以处理激活空间非线性行为特征的问题。 该框架通过轻量级可逆神经网络 $\phi$ 将 LLM 激活映射至潜空间,利用 $\phi^{-1}$ 反向映射以实现输入依赖的干预。 在多 LLM 家族及安全性基准测试中,INNSteer 的模型控制效果优于线性、基于传输及非线性基线,同时基本保持生成流畅度。
来源:arXiv · ML · arxiv.org