arXiv · NLP· Alexandre Quemy·2026-11-02 13:00· 2 小时前AI 评分20

Pythia 模型中 Token 表示流的非线性动力学分析

The Depth Flow of Token Representations Is Nonlinear and Does Not Descend Its Own Density

AI 导读

研究发现 Pythia 模型中 Token 表示流是非线性的，二次漂移在每一步均优于线性映射。模型在完整宽度下平均轨迹步长仅 3% 非仿射，而个体状态为 17%；旋转分量占可解释漂移的 4% 至 45%。该结果已被 NeurIPS 2026 研讨会接收，表明流不下降其自身密度。

来源：arXiv · NLP · arxiv.org