arXiv · NLP· Roman Makarov, Zhe Xu, Jian Kang·· 3 天前AI 评分20
扩散语言模型阈值解码在前沿高效但在回退易错:提交级分析
Fast at the Frontier, Wrong at the Fallback: A Commit-Level Analysis of Threshold Decoding in Diffusion Language Models
AI 导读
研究发现扩散语言模型主要置信度集中于最左侧前沿位置,仅在此处提交速度接近任意位置提交。 回退提交占比 11-35% 却导致 61-72% 的失败,限制在前沿提交可恢复大部分准确率。 该分析基于四个 DLM 在数学、代码等任务上的提交追踪验证。
来源:arXiv · NLP · arxiv.org