跳到正文
arXiv · ML· Aaryam Sharma·· 7 小时前AI 评分27

TVP:专为投机解码设计的接受长度损失函数

TVP: TV is Almost All You Need for Speculative Decoding

AI 导读

研究提出基于期望接受长度的损失族TVP,通过调节权力参数平衡覆盖与接受目标。 TVP在三种drafter架构和三个目标模型上实现最高或并列最高接受长度。微调时TVP比交叉熵损失提升接受长度9.8%,比公开DFlash2训练方案提升6.2至12.9%。

来源:arXiv · ML · arxiv.org