Pythia模型Token表示流非线性动力学研究获NeurIPS 2026接收

2026年11月2日，一项针对Pythia模型的研究发表于arXiv（NLP领域）。该研究发现模型中Token表示流呈现非线性特征，在每一步迭代中，二次漂移的表现均优于线性映射。模型在完整宽度下的平均轨迹步长仅有3%是非仿射的，而个体状态的非仿射比例高达17%。进一步分析表明，旋转分量占可解释漂移的4%至45%。该研究还指出，流不下降其自身密度。此项成果已被NeurIPS 2026研讨会接收。

AI 根据报道生成 · 47 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。