arXiv · ML· Oscar Davis, Daan Roos, Alice Bizeul, Amitis Shidani, Victor Turrisi, Louis B\'ethune, Pierre Ablin, Marco Cuturi·· 2026-10-12AI 评分31
连续扩散语言模型设计空间探索
On the Design Space of Continuous Diffusion Language Models
AI 导读
研究提出DoubleCat和SemiCat架构,通过双层插值和离散揭示机制,在TinyGSM基准上取得49.94%准确率,超越离散扩散模型。 DoubleCat通过引入推理状态修复训练/推理不匹配,使TinyGSM准确率提升超三倍;SemiCat在1.7B规模下于六项似然评估中优于离散扩散。 该工作揭示了自条件与嵌入几何在连续扩散语言模型中的关键作用机制。
来源:arXiv · ML · arxiv.org