arXiv · ML· Jayden Teoh·· 8 小时前AI 评分32
多 Token 预测做对了：Soft-MTP 移除噪声残差并提升推理效率
Multi-Token Prediction Done Right
AI 导读
多 Token 预测（MTP）标准训练存在缺陷，其梯度中的残差干扰学习且随规模增加而加剧。 研究人员提出 Soft-MTP 方法，通过 KL 梯度恢复技巧移除噪声残差，仅反向传播自蒸馏信号，支持 DeepSeek-和 Meta-风格 MTP，无额外参数且无可测量开销。
来源：arXiv · ML · arxiv.org