跳到正文
arXiv · AI· Giovanni Monea, Keshav Ramji, Yousef El-Kurdi, Luis A. Lastras, Yoav Artzi, Nathan Godey, Ram\'on Fernandez Astudillo·· 2026-10-05AI 评分34

Looped Transformer 共享内存机制显著提升性能与效率

The Surprising Effectiveness of Shared Memory in Looped Transformers

AI 导读

研究团队提出 Looped Prediction Transformer (LPT) 及其混合变体,通过预训练模型仅在第一递归中写入缓存、后续递归读取共享内存,解决了循环 Transformer 内存随计算量增长的问题。

来源:arXiv · AI · arxiv.org