跳到正文
arXiv · AI· Jameson Sandler, Shane Bergsma, Mostafa Elhoushi, Bin Claire Zhang, Gavia Gray, Joel Hestness, Nolan Dey, Ferdinando Fioretto·· 2 天前AI 评分22

DNeo:通过改进目标特征编码提升并行草稿模型

DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding

AI 导读

研究者提出 DNeo,通过 Mixture-of-Features Attention 机制实现比 SoTA(DFlash-2)快 1.3 倍的生成速度,且不增加草稿模型体积或降低质量。 MoFA 引入工作记忆编码被拒提案,结合 2-tap 因果卷积、前缀交叉注意力及非均匀目标层选择,解决标准特征编码有损、无记忆及特征采样均匀的局限。

来源:arXiv · AI · arxiv.org