跳到正文
arXiv · ML· Zhaofeng Sun, Lanxiang Hu, Yu-Yang Qian, Jiaqi Leng, Yuanbo Yang, Chi Zhang, Youyou Lu, Peng Zhao, Hao Zhang·· 2 天前AI 评分26

InfuseLoop:提升可扩展并行循环 Transformer 深度的跨轨迹潜在注入机制

InfuseLoop: Cross-Trajectory Latent Injection for Scalable Parallel Looped Transformers

AI 导读

针对 Parallel Looped Transformers 深度扩展时训练损失激增及收益递减的问题,论文提出 InfuseLoop 跨轨迹潜在注入机制。 该机制通过轻量级注意力残差聚合后续预测轨迹中可用的因果隐藏状态,在保持 token 并行训练和循环并发执行的同时,仅额外增加 O(Rd) 隐藏状态存储开销。

来源:arXiv · ML · arxiv.org