arXiv · NLP· Zhuonan Yang, Yik Siu Chan, Wannan Yang, Ellie Pavlick·· 4 小时前AI 评分25
LLM 表征动力学:层间旋转与轨迹发散
Representations in Motion: Layer-wise Rotation and Trajectory Divergence in LLMs
AI 导读
研究表明,LLM 中事实性表征在层间演进时出现几何旋转,且单条轨迹的发散点预示旋转发生。 在 3D 视角切换任务中观察到类似现象,证实旋转反映概念空间操控。模型在无显式“撒谎”提示的自然任务中,也能观察到旋转与发散轨迹。
来源:arXiv · NLP · arxiv.org