跳到正文
arXiv · ML· Xuan Ouyang, Zefan Cai, Chenlong Zhang, Cheng Luo, Ke Wan, Junjie Hu·· 14 天前AI 评分31

Loopback Transformer:统一视角下的残差循环 Transformer

Loopback Transformer: Towards a Unified View of Residual Looped Transformers

AI 导读

Loopback Transformer 通过几何衰减和注意力机制分配更新权重,在 191M 至 3B 规模上以更少参数降低验证损失。 在 ClimbMix 数据集上,该模型仅用标准 Transformer 40%-75% 的参数实现更低验证损失;在 1.4B 和 3B 规模下,十三个下游任务平均准确率更高。

来源:arXiv · ML · arxiv.org