arXiv · ML· Xin Liu, Boyuan Sun, Yuxin Wang, Haoran Song, Mingjian Zhao, Mengyu Liu·· 17 小时前AI 评分26
Gated 序列模型中接近零的 token embedding 导致训练停滞：基于 Mamba 与 Nemotron-3-Nano-4B 的分析及修复
Near-Zero Token Embeddings Silently Stall Training in Gated Sequence Models
AI 导读
针对 291 个开源 LLM 仓库 280 个 embedding 表的调查，发现 52.6% 的 untied 权重的 gated 和 hybrid 检查点存在近零输入 embedding，且 0% 的 weight-tied 模型存在该问题。
来源：arXiv · ML · arxiv.org