arXiv · ML· Ziye Mei, Haotian Ma·· 2026-10-16AI 评分30
稀疏自编码器中的表征再分配与 RSS 指标
Representation Redistribution in Sparse Autoencoders
AI 导读
稀疏自编码器在提示词变换下会产生可复现的表征再分配,研究提出再分配敏感度得分(RSS)以识别一致方向的特征响应。 在覆盖 8 个语言模型的 27 个预训练 SAE 测试中,结合 RSS 支持度与完整清洗边界,两个冻结安全读出的递归失败 AUROC 分别达到 0.935 和 0.958。 该指标用于量化稀疏表征变化对下游读出的贡献,避免了将表征变化直接等同于模型失效。
来源:arXiv · ML · arxiv.org