arXiv · NLP· Jungseob Lee, Sugyeong Eo·· 2026-10-14AI 评分25
CAST 将已评分的多个候选 token 打包成树结构,通过单次目标模型验证加速大语言模型推理,在八种测试设置中比标准链式验证快最高 43%。
CAST: Cost-Aware Speculative Trees from One-Pass Block Drafters
AI 导读
该方法根据延迟测量自适应决定树宽度,无需遍历参数,且已证明在贪心与采样解码下不改变目标输出分布。 代码已开源。
来源:arXiv · NLP · arxiv.org