arXiv · AI· Liang Su, David Chen, Jason Li, Kevin Guo, Teresa Lv·· 10 小时前AI 评分28
FlashRT-PAI 推理引擎加速物理 AI 工作负载
FlashRT-PAI: Fast Kernels Are Not Fast Pipelines for Physical AI Inference
AI 导读
FlashRT-PAI 是面向物理 AI 的低延迟推理引擎,通过模型与硬件流水线协同设计,在 RTX 5090 上实现 1.3-3.7 倍加速。 核心机制包括内核融合、执行契约及状态胶囊,支持 PyTorch 模型加速;LIBERO-10 测试中 pi0.5 模型成功率达 94.04%,并已被 LeRobot 框架采用。
来源:arXiv · AI · arxiv.org