arXiv · ML· Jimin Seo, Gyubok Lee, Yeonsik Jo, Kiwoong Yoo, Yeongoon Kim, Minhae Oh, Jin Woo Koo, Suhwan Kim, Nakyung Lee, Minsik Seol, Idris Nechnech, Jaehyeon Kim, Giho Lee, Jungwoo Lee·· 23 小时前AI 评分36
混合 Transformer-SSM 架构学习率迁移规律解析
Learning Rate Transfer for Hybrid Transformer-SSM Architectures
AI 导读
研究揭示混合 Transformer 与 SSM 架构在实际参数规模下学习率可实现近乎零迁移间隙。基于 μP 预设，宽度 256-2048、深度 4-32 范围内最优学习率不变性达 8 倍。该结论适用于 Nemotron-H 等生产级模型，填补了理论规则与实践实施的差距。
来源：arXiv · ML · arxiv.org