arXiv · AI· Tamara Czinczoll, Julie Kallini, Gerard de Melo, Chen Shani·· 2026-10-06AI 评分24
LightMTP:轻量级潜在多 token 预测
LightMTP: Lightweight Latent Multi-Token Prediction
AI 导读
LightMTP 是一种参数高效的潜在多 token 预测方法,直接从模型自身隐藏状态引导未来 token 表示,最多仅增加 1% 额外参数。 它无需传统 MTP 的额外计算开销,也不依赖外部辅助模型编码未来 token,两个变体将监督扩展到更多未来 token,在通用语言建模基准上保持更优表现,并在规划、编程和推理任务上取得相近增益。
来源:arXiv · AI · arxiv.org