arXiv · ML· Annabelle Sujun Tang, Rohan Mahapatra, Christopher Priebe, Hanyang Xu, Manya Ghobadi, Christopher Rossbach, Hadi Esmaeilzadeh·· 6 小时前AI 评分27
Conjugate Compilation：面向推测解码的自改进智能体协同编译
Conjugate Compilation: Self-Improving Agentic Co-Compilation for Speculative Decoding
AI 导读
Conjugate Compilation 提出将推测解码重构为跨模型编译问题，在 NVIDIA B300 和 RTX 5090 GPU 上实现 1.37x 平均加速，最佳达 1.59x。 该框架通过交织布局（interleaved kernels）共置 GEMM 与非 GEMM 任务，提升 RTX 5090 和 B300 的 GPU 利用率至 1.46x 和 1.50x。
来源：arXiv · ML · arxiv.org