跳到正文
10月8日周四
  1. arXiv · AI20

    SOUL:通过稀疏特征策略遗忘缓解视觉-语言-动作模型的状态幻觉

    视觉-语言-动作模型在机器人操作中存在状态幻觉问题,即假设未实现的物体状态已完成。研究提出SOUL方法,通过稀疏自编码器识别与幻觉相关的特征,选择性遗忘这些错误策略知识。在模拟和真实环境实验中,该方法显著减少了幻觉失败并提高了任务成功率,未损害现有操作能力。

  2. arXiv · AI49

    PhysEvo:基于物理递归自我改进的机器人操作框架

    论文提出 PhysEvo 框架,通过元智能体诊断故障并修订工具,在不更新冻结模型权重的情况下提升机器人操作能力。 在 42 项 RoboDojo 任务中,PhysEvo 平均得分 68.14/100,成功率 62.00%;在 8 项高难度任务中成功率达 55.00%,优于直接 Astra 基线。 该框架在真实世界 5 项任务中实现 84.00% 成功率,证明物理递归自我改进的有效性。

  3. arXiv · AI35

    RoboJEPA:基于大规模机器人数据集训练的多具身世界模型

    研究者发布 RoboJEPA,这是首个在真实机器人数据上建立多具身世界模型缩放定律的工作,参数规模达 8B。 该模型基于 Joint Embedding Predictive Architecture (JEPA),在涵盖 12 种机器人具身的大规模数据集上训练。 RoboJEPA 的想象误差遵循算力的高阶幂律,可作为真实机器人评估的可靠代理,并能零样本部署为机器人智能体。

  4. arXiv · AI39

    EmbodiedRSI: 通过假设引导协同进化的主动持续机器人学习框架

    EmbodiedRSI 采用快慢双系统架构,通过假设图维护代码与技能假设,在 RoboCasa365 上取得 77.0% 总体成功率,LIBERO-Pro 达 86.8%。 快系统执行价值信息实验选择物理交互,慢系统构建层级记忆并基于奖励引导学习优化后续改进。 该框架支持零样本迁移至真实机器人,在多个高难度任务中实现 71.3% 总体成功率,降低了对昂贵遥操作数据的依赖。

  5. arXiv · AI33

    RT-Safe: 基准测试实时具身环境中的智能体安全性

    RT-Safe 是一个模拟城市基准,用于评估实时约束下具身智能体安全性,在八种 VLM 测试中,最严苛场景下仅 0.7% 的回合无安全事件完成。 该基准发现实时执行使碰撞率增加 12.3 倍,而任务完成率高达 91.3% 至 94.1%,揭示任务成功可能掩盖严重安全缺陷。 RT-Safe 支持离线强化学习训练,能显著降低碰撞率并保持高任务完成率。

  6. arXiv · AI28

    Ego2World:编译第一视角烹饪视频为可执行世界以支持信念状态规划

    Ego2World基于HD-EPIC数据集将第一视角烹饪视频转化为受图转移规则控制的符号世界,以评测具身智能体在部分观测下的规划能力。智能体仅依赖局部观测和执行反馈,在隐藏符号世界图上规划,避免假设完全可观测状态。实验显示动作重叠分数高估物理状态成功,持久信念记忆提高了任务完成并减少了重复视觉探索。

  7. arXiv · AI30

    EgoLAP 提出基于语言动作推理的第一视角人机数据预训练框架

    EgoLAP 利用第一视角人类数据训练 VLA 模型,实现 80.1% 的真实任务进度,性能提升 2.3 倍。 该框架将运动意图转化为结构化语言动作,并结合场景几何与物体可供性进行运动级推理,优于复合推理格式。 此方法有效缩小了人类与机器人间的体现差异,提升了控制策略的可迁移性。

  8. arXiv · AI25

    HygieneRoboBench 基准与 Hygiene-NSP 规划器:评估家用人形机器人卫生感知规划

    研究团队提出包含624个实例的 HygieneRoboBench 基准,用于评估家用人形机器人在接触污染物体后的卫生感知规划与安全执行能力。 该基准结合受控历史、配置文件和事件比较,评估任务在用户优先级下的安全解决与成本效率。 为优化规划效果,研究引入结合 LLM 基础、接触历史重建和 CP-SAT 的 Hygiene-NSP 规划器,其在完整数据集上实现了94.4%的安全解决率。

  9. arXiv · AI34

    EigenDEXplore:利用人类先验结构探索以实现灵巧操作

    论文提出 EigenDEXplore,通过在独立关节空间噪声上叠加人类导生的特征向量扰动来诱导相关性探索,保持动作空间不变。 该方法在多种灵巧手上表现优于关节空间和习得动作空间基线,在抓取、手内重定向及接触丰富操作中有效。 增益跨越非结构化与参考引导强化学习、轨迹优化及仿真到实机部署,且奖励塑形和课程设计要求少时提升最大。

  10. arXiv · AI42

    SMART:基于大规模合成预训练的零样本仿真到实物铰接物体操作系统

    SMART 提出大规模合成演示用于铰接物体操作,解决真实数据收集难题。 包含 SMART-Sim 仿真平台、SMART-Data(超 100 万条演示、44 种原子任务、5 种机器人构型、2507 个铰接物体)及预训练 VLA 模型。 实现零样本 sim-to-real 迁移,展示合成演示在富接触铰接操作中的可扩展监督潜力。

  11. arXiv · AI23

    VLM引导的电磁数字孪生在线校准演示

    该框架利用视觉语言模型(VLM)指导Unitree G1机器人和NVIDIA Sionna进行电磁数字孪生在线校准,解决材料电导率随环境变化的问题。 在真实室内场景中,该框架在20米行程内实现归一化平均绝对电导率误差为$1.74\times10^{-4}$。随机初始化无法收敛,而随机航点规划所需行程超过两倍以上。

  12. arXiv · AI28

    VeriFine:通过策略、课程与评判者共同进化实现具身推理自我改进

    VeriFine框架通过策略、训练课程和评判者的共同进化,扩展了具身推理中的验证规模,克服了固定评判者对自我改进的限制。该框架包含策略改进循环,使用评分标准评判者诊断失败并优化策略;当进展停滞时,评判者改进循环通过人机协作校准解决分歧,提升评判能力。在驾驶和机器人导航任务中,实验显示策略和评判者能力在强化学习与微调中持续自我改进。

  13. arXiv · AI23

    EMHO:基于经验轨迹的具身智能体框架优化

    EMHO 提出一种冻结具身模型、仅通过迭代修订 agent harness 实现自我进化的框架,支持在稀疏环境反馈下直接提升系统性能。 该框架通过解析执行轨迹与历史 harness 数据,优化智能体的进度监控、视觉工具使用、观察接地及失败响应机制,并引入 EMHO-Merge 处理多子任务间的权衡。

  14. arXiv · AI23

    基于 Ackermann 转向机器人的视觉语言导航 Sim-to-Real 迁移研究

    该研究实现了一种无需导航图或全景视角的连续环境视觉语言导航(VLN)模型的 Sim-to-Real 迁移。 系统采用 Cross-Modal Attention 架构,在仿真环境预训练后,使用自建 Ackermann 转向机器人收集的少量真实数据微调,通过线性光度调整实现离线导航。 实验通过 SPL 和 nDTW 指标验证了该方法在真实环境中的鲁棒性与适应性。

  15. IT之家77

    黄仁勋担忧 AI 需求降温,英伟达拟再投 10 亿美元加码 Figure

    据 The Information 报道,英伟达正在讨论向人形机器人公司 Figure 追加 10 亿美元投资,Figure 投前估值约为 380 亿美元。黄仁勋担忧 AI 需求降温或出现替代芯片,计划借助公司 990 亿美元现金储备投资开发 Nemotron 模型及 AI 应用的初创企业,以降低对 OpenAI 等头部大客户的依赖。

    推荐理由:英伟达拟通过加注 Figure 和投资初创企业来分散客户依赖,反映了黄仁勋试图巩固 AI 市场主导地位的避险策略。

  16. IT之家29

    优必选携手一汽-大众推进人形机器人物流应用

    优必选与一汽-大众达成战略合作,共同推进具身智能机器人在物流场景的开发测试。 此前 Walker S Lite 已在一汽-大众青岛工厂完成车辆质检实训,本次合作旨在向物流场景拓展。 工厂年规划产能超万台,优必选 2025 年营收达 20.01 亿元,居全球人形机器人公司之首。

  17. IT之家68

    前字节跳动实习生田柯宇创办世界模型公司获2亿美元估值

    前字节跳动实习生田柯宇创办世界模型创业公司,公司未公开名称但获近3000万美元融资,投后估值2亿美元。该公司由五源资本和IDG资本等机构投资,团队规模10人。田柯宇计划利用其NeurIPS 2024最佳论文技术,为AI设计专门处理视觉内容的符号语言,目标将生成1秒视频的成本降至原来的十分之一。

10月7日周三
  1. arXiv · ML28

    RLA-WM:基于残差隐式动作学习视觉特征世界模型

    研究提出基于 DINO 残差学习残差隐式动作(RLA),并构建 RLA-WM 模型预测视觉特征。 RLA-WM 通过 flow matching 预测 RLA,在模拟和真实数据集上性能超越 SOTA 视觉特征及视频扩散世界模型,速度比视频扩散快数个数量级。 该方法支持无动作视频训练,提升了 LIBERO 及真实机器人上的 VLA 策略学习效果。