研究揭示混合架构学习率零迁移间隙
热点事件持续更新
研究揭示混合架构学习率零迁移间隙
1 篇报道1 个报道来源23 小时前更新
先了解这件事
AI 综述
2026年11月5日，Jimin Seo等人发布《Learning Rate Transfer for Hybrid Transformer-SSM Architectures》论文，该版本已获NeurIPS 2026接收。 研究显示，基于μP预设，在宽度256-2048、深度4-32范围内，混合Transformer与SSM架构的最优学习率具有8倍不变性，实际参数规模下可实现近乎零迁移间隙。 这一结论适用于Nemotron-H等生产级模型，填补了理论规则与实践实施之间的差距。
AI 根据报道生成 · 21 小时前更新
最新进展11月6日 13:00
混合 Transformer-SSM 架构学习率迁移规律解析报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- arXiv · ML混合 Transformer-SSM 架构学习率迁移规律解析
研究揭示混合 Transformer 与 SSM 架构在实际参数规模下学习率可实现近乎零迁移间隙。基于 μP 预设，宽度 256-2048、深度 4-32 范围内最优学习率不变性达 8 倍。该结论适用于 Nemotron-H 等生产级模型，填补了理论规则与实践实施的差距。
本事件热度走势
- 可比范围当前
- 5
- 可比范围峰值
- 911月6日 16:00
- 近 24 小时变化
- –
02.557.510
18:0011月7日06:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。