跳到正文
arXiv · ML· Simon Dr\"ager·· 3 天前AI 评分32

循环序列模型中 EOS 停止机制的解释性研究

Halting in Recurrent Sequence Models

AI 导读

研究揭示了循环神经网络(RNN)和状态空间模型(SSM)生成结束符(EOS)的因果机制。 tanh RNN 在线性子空间编码剩余 token 数,平移该表示可提前停止,94.4% 新序列复现正确。 线性 SSM 依赖旋转平面的相位对齐决定停止时间,旋转相位破坏停止但不影响内容。

来源:arXiv · ML · arxiv.org