arXiv · AI· Liang He, SiYuan Ma, Qishi Zhan, Yongqi Fan, Mingyu Cao, Qizhen Lan, Zhaolu Kang, Xilu Wang·· 4 小时前AI 评分23
ValuSpec：面向基于树的推测解码的即插即用候选估值机制
ValuSpec: Plug-and-Play Candidate Valuation before Target Verification for Tree-Based Speculative Decoding
AI 导读
ValuSpec 提出了一种即插即用的候选估值机制，在昂贵的目标模型验证前过滤低质量分支，实现最高 2.38x 端到端加速。 该机制基于目标模型贪心轨迹估算过滤阈值，无需参数训练。 集成至 EAGLE-3 框架后可达 2.78x 加速，验证了其通用性。
来源：arXiv · AI · arxiv.org