跳到正文
arXiv · AI· Giries Abu Ayoub, Mario Barbara, Llu\'is Pastor-P\'erez, Tanja Bien, Aneesh Barthakur, Alaa Maalouf, Loay Mualem·· 17 小时前AI 评分40

AXON:提升扩散语言模型并行解码质量与延迟权衡的训练无关模块

Supportive Token Revealing for Fast Diffusion Language Model Decoding

AI 导读

研究者提出 AXON,一种无需训练的模块,可叠加于现有扩散语言模型并行解码策略之上,以改善质量与延迟的权衡。 AXON 通过监控剩余不确定掩码 token 的注意力、不确定性与置信度信号,选取“锚点” token,在需要时干预解码过程。实验在多个扩散模型及推理、代码生成基准上显示,AXON 通常可减少函数评估次数,同时保持或提升准确率。

来源:arXiv · AI · arxiv.org