跳到正文
arXiv · AI· Jai Jain, Chihyo Ahn, Yong Liu, Charles Chen, Duc N. M Hoang, Ajay Kumar Jaiswal, Fatih Ilhan, Han-Byul Kim, Lauren Hannah, Richa Dixit, Minsik Cho, Yingyan Celine Lin, Hyesoon Kim·· 3 天前AI 评分23

SpecRelay 通过异步流水线与路由优化边缘-云推测解码吞吐量

SpecRelay: Amortize or Avoid the Round Trip in Edge-Cloud Speculative Decoding

AI 导读

SpecRelay 提出边缘-云 LLM 推理系统,通过异步验证和 Latency-Aware Router 优化 RTT 开销。 在 250 ms 额外往返延迟且精度匹配的情况下,相比同步基线,SpecRelay 在 SPROUT 和 OlympiadBench 上实现 1.95x 和 1.55x 吞吐量提升,同时仅将 47% 和 39% 的查询发送至云端。

来源:arXiv · AI · arxiv.org