arXiv · ML· Tianzhe Chu, Druv Pai, Yi Ma·· 5 小时前AI 评分28
Nestor 嵌套稀疏机制提升 MoE Transformer 预训练与持续学习效率
Nested Sparsity for Scalable Pretraining and Continual Learning
AI 导读
研究提出名为 Nestor 的 Transformer 架构，其通过泛化注意力算子引入与 MoE 算子嵌套的稀疏机制。在同等算力与稀疏度下，Nestor 在语言模型预训练中的表现优于传统 MoE Transformer。
来源：arXiv · ML · arxiv.org