arXiv · NLP· Chiatzen Wang, Bill Xu, Haochen Gu, Hongyang Zhang·· 8 小时前AI 评分38
无训练有损推测解码中的长度膨胀：接受率不等于速度
Acceptance Is Not Speed: Length Inflation in Training-Free Lossy Speculative Decoding
AI 导读
无训练有损推测解码中，松弛验证导致长度膨胀，抵消了单轮接受token增多带来的表面加速。针对12个目标-草稿模型对，最宽松设置下每轮平均接受1.34倍token，但生成长度增加至1.54倍，且部分规则精度显著下降。
来源：arXiv · NLP · arxiv.org