跳到正文
arXiv · NLP· Madhusudhana Naidu·· 10 天前AI 评分35

Phrase-Level Speculative Decoding: A Frozen Target Approach

Phrase-Level Speculative Decoding on a Frozen Target

AI 导读

新提出的短语级投机解码方法,通过冻结目标模型的隐藏状态预测1-3词短语作为草稿词表条目,在Qwen3-4B上保持输出与贪心解码一致。

来源:arXiv · NLP · arxiv.org