arXiv · NLP· Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May·· 13 小时前AI 评分26
稀疏层是扩展循环语言模型的关键
Sparse Layers are Critical to Scaling Looped Language Models
AI 导读
研究发现,结合混合专家(MoE)架构的循环语言模型在规模化表现上优于标准Transformer,且稀疏层是其关键所在。 其核心机制在于路由发散:模型在重复通过相同的共享层时激活不同的专家,从而在不增加额外参数的情况下恢复了模型的表现力。该方案还能通过早期退出机制优化计算与质量的权衡,实现显著的内存与推理节省。
来源:arXiv · NLP · arxiv.org