跳到正文
LessWrong · All Posts· Celene Nightingale·· 3 小时前AI 评分29

稀疏自编码器(SAE)验证实验方法论争议:Korznikov 等实验设置并非中性

Sanity Checks for Sanity Checks for Sparse Autoencoders

AI 导读

Korznikov 等关于稀疏自编码器(SAE)未能超越随机基线的结论,因实验设计存在偏差而受到质疑。 该团队在合成模型中使用 32 倍扩展因子,声称 SAE 仅恢复 9% 的真实特征,但批评者指出此设置对 SAE 具有破坏性,与现实场景不符。 这场关于验证有效性的争论,加剧了该领域对 SAE 研究前景的悲观情绪。

来源:LessWrong · All Posts · lesswrong.com