arXiv · ML· Ziteng Wang, Jianqiao Lu, Xinyu Ma, Jintao Zhang, Jun Zhu, Yiyuan Ma, Jianfei Chen·· 1 天前AI 评分30
HiRes：通过分层残差解耦残差宽度与计算宽度
Hierarchical Residuals: A Minimalist Decoupling of Residual Width from Compute Width
AI 导读
HiRes 通过分层残差架构解耦 Transformer 的残差宽度与计算宽度，将标准 PreNorm 层分组并由更宽的 PostNorm 外层残差连接。 在 OLMoE-1B-7B 预训练中处理 500B tokens，HiRes 训练损失降低 0.0208，下游准确率提升 1.14 点，FLOPs 效率提升 1.30 倍。
来源：arXiv · ML · arxiv.org