跳到正文
arXiv · NLP· Roman Makarov, Zhe Xu, Jian Kang·· 3 天前AI 评分20

扩散语言模型阈值解码在前沿高效但在回退易错:提交级分析

Fast at the Frontier, Wrong at the Fallback: A Commit-Level Analysis of Threshold Decoding in Diffusion Language Models

AI 导读

研究发现扩散语言模型主要置信度集中于最左侧前沿位置,仅在此处提交速度接近任意位置提交。 回退提交占比 11-35% 却导致 61-72% 的失败,限制在前沿提交可恢复大部分准确率。 该分析基于四个 DLM 在数学、代码等任务上的提交追踪验证。

来源:arXiv · NLP · arxiv.org