自动可解释性评估存在结构性捷径

2026年10月30日，Xupeng Chen 在 arXiv 发表研究，指出基于稀疏自编码器的自动可解释性评估数据存在结构性捷径。实验表明，在 Neuronpedia 存储的 500 个 GPT-2 小特征模糊测试中，91.3% 的激活示例裁剪后峰值位于中心令牌。仅依据“中心令牌被标记即答是”这一简单规则，平衡准确率即可达到 0.979，远超 0.838 的 LLM 评分器，证实无需阅读解释即可高分。在随机偏移的自然文本窗口测试中，固定偏移先验得分为 0.015；类型化决策模型 Jev 在 49 个特征上的池化相关性达 0.331，高于打乱解释时的 0.013；开放 8B 模拟器读取原始解释的相关性为 0.194。该研究揭示了标准评估管道可被捷径利用的事实。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。