arXiv · NLP· Yongchao Long, Chunrui Zheng, Yuxuan Zhou, Guangkun Nie, Tian-Chi Ma, Chao Pang, Shuohuan Wang, Yuchen Ding, Xianbin Wen, Dianhai Yu, Junyuan Shang, Yuxi Zhou, Shenda Hong·· 4 小时前AI 评分33
Speculative Decoding 中更好的接受率何时更有价值：一项受控研究
When Does Better Acceptance Pay? A Controlled Study of Speculative Decoding
AI 导读
研究显示，投机解码的吞吐量增益取决于接受长度与执行延迟的权衡。 在共享训练和推理条件下，不同 Drafter 方案的性能差距显著缩小。 接受率可通过低成本的目标函数调整或高成本的条件机制提升，具体收益受任务不确定性影响。
来源：arXiv · NLP · arxiv.org