arXiv · NLP· Alagappan Valliappan, Ankit More, Dheevatsa Mudigere, Jatin Mitra·· 12 小时前AI 评分26
NarrowSpec: 推测解码中草稿模型隐藏宽度无需匹配目标模型
NarrowSpec: Draft Hidden Width Need Not Match the Target in Speculative Decoding
AI 导读
研究提出 NarrowSpec,证明在推测解码中,DFlash 和 EAGLE-3 草稿模型的隐藏宽度可缩减至目标模型(Qwen3-8B, GPT-OSS-20B)的二分之一或四分之一,且能维持较高的 token 接受率。
来源:arXiv · NLP · arxiv.org