跳到正文
arXiv · AI· Selin Yildirim, Ali Zeyrek, Deming Chen·· 2 天前AI 评分29

SpecSearch:面向硬件感知的 LLM 推测解码高效搜索方法

SpecSearch: Towards Hardware-Aware Efficient Speculative Decoding

AI 导读

SpecSearch 是一款硬件感知的推测解码搜索引擎,在 RTX 5090、H100、L40 和 MI300X 上平均实现 2.01 倍 AR 解码吞吐量,较 vLLM 推测解码快 1.36 倍。

来源:arXiv · AI · arxiv.org