MAEM 方法解释语言模型残差流方向

研究者 Celeste De Schamphelaere 等人发表论文，提出并验证了 MAEM（最大激活示例元模型）方法，用于生成语言模型残差流方向的可解释文本示例。该方法通过无标签强化学习优化，将残差流方向映射为能强烈激活这些方向的文本片段。 实验表明，基于 Qwen3.6-27B 构建的 MAEM 在还原未见过激活值时，表现优于语料库搜索及自然语言自编码器（NLA），能生成更具信息量的示例。此外，该方法可激活 89% 的稀疏自编码器（SAE）特征，并成功识别 LoRA 后门中的有效载荷，证明其在模型可解释性与安全性分析中的应用潜力。

AI 根据报道生成 · 22 小时前更新