arXiv · ML· Kunjun Li, Wenhao Chai, Yihao Liang, Yuezhou Hu, Shuyao Xu, Yi Pan, William X. Zheng, Kannan Ramchandran, Kurt Keutzer, Jiantao Jiao·· 17 天前AI 评分41
SpecPilot 自动发现推测解码算法与系统优化
SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding
AI 导读
SpecPilot 是一个自动智能体循环系统,通过发现新算法和系统优化提升推测解码性能。 单请求场景下,其将相对自回归解码的加速比从 4.46 倍提升至 10.87 倍;批量场景下,加速比从 1.94 倍提升至 3.93 倍。 该系统实现了无质量损失的无损 12-bit 权重格式和树状验证机制。
来源:arXiv · ML · arxiv.org