跳到正文
arXiv · ML· Hadi Fares, Mayssa Hajj Hassan, Ali Salman, Ammar Mohanna·· 12 小时前AI 评分22

FACT 固定预算分配与跨步训练加速 Llama-3-8B-Instruct 推测解码

FACT: Fixed-Budget Allocation and Cross-Step Training for Speculative Decoding

AI 导读

FACT 框架通过跨步训练与置信度引导分配,将 Llama-3-8B-Instruct 在 HumanEval 上的加速比从 1.46× 提升至 2.02×,MT-Bench 从 1.31× 升至 1.75×。

来源:arXiv · ML · arxiv.org