arXiv · ML· Mengyu Ye, Keito Kudo, Ryosuke Takahashi, Jun Suzuki·· 23 小时前AI 评分22
LLaDA-8B-Instruct 中重新审视掩码扩散语言模型训练的位置监督
Reconsidering Positional Supervision in Masked Diffusion Language Model Training
AI 导读
研究发现 LLaDA-8B-Instruct 在迭代解码时对位置偏移敏感，仅 1% 的 token 位移即可显著降低 Arena-Hard 胜率。 作者将连接时序分类（CTC）引入掩码扩散语言模型的监督微调，通过引入吸收位置不确定性的特殊 token 及更新后的坍塌映射，放宽了交叉熵损失的严格位置匹配要求。
来源：arXiv · ML · arxiv.org