arXiv · NLP· Yueen Ma, Zenglin Xu, Irwin King·· 3 天前AI 评分32
3D-MoE 采用 MoE 架构提升空间智能
3D-MoE: Towards Spatial Intelligence with Mixture-of-Experts for 3D Reasoning and Action Generation
AI 导读
3D-MoE 发布,这是一款采用混合专家架构的 3D 视觉语言模型,旨在解决空间智能任务中密集 Transformer 的高计算成本。 其核心创新包含模态与空间上下文感知的概率路由方案,并集成了基于扩散的 Pose-DiT 动作头,实现单步生成 6D 位姿动作。 该模型在减少激活参数量的同时实现了机器人操作任务的实时推理,代码已开源。
来源:arXiv · NLP · arxiv.org