arXiv · AI· Reyna Abhyankar, Dylan Lim, Drew Wadsworth, Venkata Hasith Vattikuti, YuTong Julia Zhang, Jung Hwan Heo, Taeksang Kim, Kesavan Ramakrishnan, Evangelene Stanley, Xinyu Fang, Daniel Y. Fu, Simran Arora·· 7 天前AI 评分43
Together Compiler:面向AI推理的持续编译系统
Together Compiler: Continual Compilation for AI Inference
AI 导读
Together AI 推出持续编译系统 Together Compiler (TKCC),采用智能体爬山法优化 AI 推理负载。 在 InferenceX 基准上,TKCC 在 Llama 1B 工作负载上比手写 Megakernels 快 1.7 倍,在前端模型上比最佳开源引擎 TPS 高 2.6 倍。 TKCC 已在生产环境中服务数万亿 tokens,支持跨硬件平台的高效推理部署。
来源:arXiv · AI · arxiv.org