arXiv · NLP· Madhusudhana Naidu·· 10 天前AI 评分35
Phrase-Level Speculative Decoding: A Frozen Target Approach
Phrase-Level Speculative Decoding on a Frozen Target
AI 导读
新提出的短语级投机解码方法,通过冻结目标模型的隐藏状态预测1-3词短语作为草稿词表条目,在Qwen3-4B上保持输出与贪心解码一致。
来源:arXiv · NLP · arxiv.org