arXiv · ML· Junchao Yang·· 6 小时前AI 评分27
PolyGraph:用于自适应推测解码的计划缓冲 CUDA 图
PolyGraph: Plan-Buffered CUDA Graphs for Adaptive Speculative Decoding
AI 导读
PolyGraph 提出一种计划缓冲机制,解决自适应推测解码中批大小变化导致需预捕获大量 CUDA 图形状的问题。 机制通过捕获一个最大网格图并在重放前向 GPU 内存写入 28 字节的活跃形状数据,使自定义 Triton 内核跳过超界瓦片,而保持图拓扑和启动网格固定。
来源:arXiv · ML · arxiv.org