arXiv · NLP· Feichen Song, Boyi Zeng, He Li, Shixiang Song, Yiqin Hao, Zitong Wang, Yizhou Yang, Yifan Liu, Ziwei He, Zhouhan Lin·· 4 小时前AI 评分23
StateLoop：循环 Transformer 的持久状态机制
StateLoop: Persistent State for Looped Transformers
AI 导读
StateLoop 通过为每个 token 维护额外持久状态，降低 Pile 困惑度并提升八项 zero-shot 任务平均准确率。 该机制使用学习门控控制状态保留与融合，其性能优势随训练循环深度增加而扩大。
来源：arXiv · NLP · arxiv.org