arXiv · AI· Giovanni Monea, Keshav Ramji, Yousef El-Kurdi, Luis A. Lastras, Yoav Artzi, Nathan Godey, Ram\'on Fernandez Astudillo·· 2026-10-05AI 评分34
Looped Transformer 共享内存机制显著提升性能与效率
The Surprising Effectiveness of Shared Memory in Looped Transformers
AI 导读
研究团队提出 Looped Prediction Transformer (LPT) 及其混合变体,通过预训练模型仅在第一递归中写入缓存、后续递归读取共享内存,解决了循环 Transformer 内存随计算量增长的问题。
来源:arXiv · AI · arxiv.org