arXiv · AI· Xiangyu Li, Huaizhi Tang, Xin Ding, Weijun Wang, Ting Cao, Yunxin Liu·· 2026-10-14AI 评分29
OxyGen:面向多任务并行 VLA 推理的统一 KV Cache 管理机制
OxyGen: Unified KV Cache Management for VLA Inference under Multi-Task Parallelism
AI 导读
OxyGen 通过统一 KV Cache 管理解决 Mixture-of-Transformers(MoT)视觉-语言-动作(VLA)模型的多任务并行推理瓶颈,实现最高 3.7 倍加速。
来源:arXiv · AI · arxiv.org