跳到正文
arXiv · NLP· Zhicheng Du, Lan Ma·· 10 天前AI 评分26

连续语言扩散模型中简易读出的局限性

What Simple Readouts Miss in Continuous Language Diffusion

AI 导读

简易读出在生成的ELF和AURORA状态下,仅通过token级仿射映射可分别恢复97.17%和95.74%的原生词汇决策。 其余分歧源于上下文计算已产生状态,仅终端读出被简化。在条件摘要任务中,稀有词优先能提高参考相似度,但源一致性仍未解决。 结果显示,可重复的修复效果不保证预测迁移,且全部原生解码得分更高,加速效果尚未证实。

来源:arXiv · NLP · arxiv.org