arXiv · AI· Selin Yildirim, Ali Zeyrek, Deming Chen·· 2 天前AI 评分29
SpecSearch:面向硬件感知的 LLM 推测解码高效搜索方法
SpecSearch: Towards Hardware-Aware Efficient Speculative Decoding
AI 导读
SpecSearch 是一款硬件感知的推测解码搜索引擎,在 RTX 5090、H100、L40 和 MI300X 上平均实现 2.01 倍 AR 解码吞吐量,较 vLLM 推测解码快 1.36 倍。
来源:arXiv · AI · arxiv.org