跳到正文
热点事件持续更新

HiRes架构解耦残差宽度提升效率

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

最新报道显示，HiRes 模型通过分层残差架构，将 Transformer 的残差宽度与计算宽度解耦，将标准 PreNorm 层分组，并由更宽的 PostNorm 外层进行残差连接。 在 OLMoE-1B-7B 预训练任务中，HiRes 模型处理了 500B tokens。该架构使训练损失降低了 0.0208，下游准确率提升了 1.14 点，且 FLOPs 效率提升了 1.30 倍。

AI 根据报道生成 · 3 小时前更新

最新进展11月2日 13:00
HiRes：通过分层残差解耦残差宽度与计算宽度

报道时间线

沿着报道，了解事件的不同侧面。

11月2日
  1. arXiv · ML
    HiRes：通过分层残差解耦残差宽度与计算宽度

    HiRes 通过分层残差架构解耦 Transformer 的残差宽度与计算宽度，将标准 PreNorm 层分组并由更宽的 PostNorm 外层残差连接。 在 OLMoE-1B-7B 预训练中处理 500B tokens，HiRes 训练损失降低 0.0208，下游准确率提升 1.14 点，FLOPs 效率提升 1.30 倍。

本事件热度走势

可比范围当前
9
可比范围峰值
1011月2日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。