Jacobian Lens 的数学理论：识别 LLM 中的相干特征

研究者建立了 Jacobian lens (J-lens) 的数学理论，证明其优先识别 LLM 隐藏状态中具有工作记忆特性的相干线性方向。 这些特征表现为空间相干的 Lyapunov 模式，小扰动在跨层传播时放大，且在不同 token 位置和上下文间保持一致。