跳到正文
arXiv · ML· Junchao Yang·· 6 小时前AI 评分27

PolyGraph:用于自适应推测解码的计划缓冲 CUDA 图

PolyGraph: Plan-Buffered CUDA Graphs for Adaptive Speculative Decoding

AI 导读

PolyGraph 提出一种计划缓冲机制,解决自适应推测解码中批大小变化导致需预捕获大量 CUDA 图形状的问题。 机制通过捕获一个最大网格图并在重放前向 GPU 内存写入 28 字节的活跃形状数据,使自定义 Triton 内核跳过超界瓦片,而保持图拓扑和启动网格固定。

来源:arXiv · ML · arxiv.org