arXiv · ML· Tianhua Xia, Mugilan Ganesan, Yifei Feng, Haiyu Wang, Maximilian Egger, Sai Qian Zhang·· 9 天前AI 评分28
自研接受率感知训练法加速 LLM 推测解码
Acceptance-Aware Draft Model Training for Speculative Decoding
AI 导读
新论文提出接受率感知损失函数,直接优化预期接受 token 数量,提升 LLM 推测解码速度。 该方法包含贪婪解码的 EAL 损失和采样解码的 WTV 损失,并可结合 GRPO 强化学习。 实验显示该方法在多种场景下优于传统 KL 散度匹配,显著提升接受长度。
来源:arXiv · ML · arxiv.org