跳到正文
arXiv · ML· Heng Zhao, Yufei Wang, Ruidian Song, Weisheng Chen·· 2026-10-21AI 评分38

Transformer 推理内部动态研究:层状态轨迹揭示层序计算效应

High-dimensional layer-state trajectories reveal the internal dynamics of transformer inference

AI 导读

针对 Qwen、Llama 和 Gemma 模型的研究表明,层顺序产生的轨迹比端点保持shuffle对齐1.60至2.24倍。 该效应在同一Qwen架构的随机初始化中更强,确认为架构兼容框架而非特定训练规律。局部过渡执行器在置信门控下成功控制17条闭包轨迹而不影响203条非闭包输出。 研究证实了层顺序的可观性和可计算性,但未建立完整的LLM动态理论或答案正确性控制。

来源:arXiv · ML · arxiv.org