arXiv · AI· Haiyu Wang, Sai Qian Zhang, Zechun Liu, Steven Li·· 3 小时前AI 评分35
HybridSpec 实现混合 GDN-MoE 模型的吞吐量感知投机解码
HybridSpec: Throughput-Aware Speculative Decoding for Hybrid GDN-MoE Models
AI 导读
HybridSpec 为混合 GDN-MoE 模型设计吞吐量感知投机解码方案，在单请求贪心解码中比自回归解码快 1.75 倍至 1.88 倍，比 DFlash 快 1.30 倍至 1.33 倍。
来源：arXiv · AI · arxiv.org