跳到正文
arXiv · ML· Seonglae Cho, Zekun Wu, Adriano Koshiyama·· 7 天前AI 评分27

CRL 通过稀疏自编码器特征实现 LLM 可解释的 Token 级引导

Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features

AI 导读

研究提出控制强化学习(CRL),通过训练策略选择稀疏自编码器(SAE)特征来引导 LLM,生成可解释的干预日志,在 Gemma 2 2B 上提升 MMLU 等基准表现。 CRL 采用自适应特征掩码促进多样化特征发现,并通过分支点跟踪和层级比较分析定位影响输出正确性的关键 Token 及语义特征位置。 该框架将学习到的特征引导确立为一种机制可解释性工具,与静态特征分析互补。

来源:arXiv · ML · arxiv.org