PolyGraph提出计划缓冲CUDA图机制
热点事件持续更新
PolyGraph提出计划缓冲CUDA图机制
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
PolyGraph团队发布论文,提出计划缓冲机制解决自适应推测解码问题。该机制通过捕获一个最大网格图并在重放前向GPU内存写入28字节活跃形状数据,使自定义内核跳过超界瓦片,保持图拓扑固定。 研究团队指出,该机制确立了有界工作形状边界,而非生产服务系统,且证据仅限于单GPU合成跟踪。在NVIDIA H800上,原型以Qwen2.5-3B维度将64个形状特定图替换为一个,展示了初步效果。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 12:00
PolyGraph:用于自适应推测解码的计划缓冲 CUDA 图报道时间线
沿着报道,了解事件的不同侧面。
10月20日
- arXiv · MLPolyGraph:用于自适应推测解码的计划缓冲 CUDA 图
PolyGraph 提出一种计划缓冲机制,解决自适应推测解码中批大小变化导致需预捕获大量 CUDA 图形状的问题。 机制通过捕获一个最大网格图并在重放前向 GPU 内存写入 28 字节的活跃形状数据,使自定义 Triton 内核跳过超界瓦片,而保持图拓扑和启动网格固定。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。