跳到正文
LessWrong · All Posts· Caleb Briggs·· 9 小时前AI 评分21

Gemma-4 中 J-lens 优先读取坐标对齐子空间

J-lens preferentially reads from coordinate-aligned subspaces

AI 导读

在 Gemma-4-31B 中,两个约 600 坐标的 Quiet600 子空间捕获了 80-95% 的 J-lens 读出。 这两个子空间具有特定的权重模式:post-norm 对角线值极小,因此受连续层编辑保护。语义信息仍存在于这些子空间之外,使“工作区”故事复杂化。

来源:LessWrong · All Posts · lesswrong.com