研究人员用AI大模型驾驶丰田卡罗拉取餐,展示多模态能力边界
Axiom 的三名工程师使用 OpenAI 的 GPT-6 Astra 等通用大模型,连接车载摄像头和转向系统,成功驾驶 2024 款丰田卡罗拉通过 In-N-Out Burger 取餐窗口。
推荐理由:原文展示了通用大模型通过多模态能力驾驶实车的尝试与局限,揭示了物理世界交互中的安全风险。
技术方向
AI 走进物理世界:人形机器人、具身基础模型与真实环境操作能力的进展追踪。
25 条精选近 30 天 23 条共收录 540 条
Axiom 的三名工程师使用 OpenAI 的 GPT-6 Astra 等通用大模型,连接车载摄像头和转向系统,成功驾驶 2024 款丰田卡罗拉通过 In-N-Out Burger 取餐窗口。
推荐理由:原文展示了通用大模型通过多模态能力驾驶实车的尝试与局限,揭示了物理世界交互中的安全风险。
美团 LongCat 团队构建了 MineExplorer,一个在开放世界中做到分钟级长程任务的评测基准,并开源了相关数据和代码。基准包含 813 个人工验证的高质量任务实例,支持 1 到 4 级多跳推理任务。
推荐理由:文章给出了18款多模态大模型在MineExplorer动态环境中的具体成绩,读者可以据此判断感知与长程规划之间的实际能力断层。
微软在开源的 Physical AI Toolchain 中新增推理卸载能力,允许开发者使用 Kubernetes 工具将机器人 AI 工作负载分配到边缘或云端 GPU。
推荐理由:系统评测了将物理AI推理从机器人端侧卸载到边缘或云端对任务成功率、模型规模和电池寿命的影响。
智象未来发布具身世界模型 HiDream-O1-Embodied,在 RoboColiseum 评测平台的扰动适应子榜以 0.692 分登顶。模型通过语言理解、多视角视觉感知和高容错机制提升非理想环境下的稳定性,结合真实数据与生成增强形成数据生产范式,补齐了图像、视频、3D 和动作的全模态矩阵。
推荐理由:具身模型登顶扰动适应榜单,展示了从模拟走向真实物理交互的技术闭环。
NVIDIA 在 GTC 2025 大会上发布了三项开源成果:Cosmos Transfer 世界基础模型、15TB 物理 AI 数据集以及通用类人推理模型 Isaac GR00T N1。
推荐理由:NVIDIA 在 GTC 2025 开源了 Cosmos Transfer 与 Isaac GR00T N1 模型及数据集,为开发者提供了训练具身智能体的完整工具链。