arXiv · AI· Yucheng Guo, Yongjian Guo, Zhong Guan, Wen Huang, Haodong Yue, Shuai Di, Junwu Xiong, Yicheng Gong, Xi Xiao·· 4 天前AI 评分29
D-VLA:面向视觉-语言-动作模型的高并发分布式异步强化学习框架
D-VLA: A High-Concurrency Distributed Asynchronous Reinforcement Learning Framework for Vision-Language-Action Models
AI 导读
D-VLA 提出了一种高并发、低延迟的分布式强化学习框架,旨在解决大规模具身基础模型训练中的资源冲突瓶颈。 该框架引入“平面解耦”隔离高频数据与低频权重控制,并设计了四线程异步“泳道”流水线,实现采样、推理与梯度计算的全并行重叠。 在 LIBERO 等基准测试中,D-VLA 在百亿参数模型上的吞吐量和采样效率显著优于主流强化学习框架,且在万亿参数扩展性测试中保持线性加速。
来源:arXiv · AI · arxiv.org