Pupavision:一款用于监测果蝇蛹化及生命周期转变的 Agentic 物理 AI 仪器
Pupavision 是一款基于单板计算机和昼夜摄像头的低成本物理 AI 仪器,造价约 45 至 75 美元,用于自动记录果蝇蛹化过程。 核心架构采用分层设计:前沿编码 Agent 在设备上运行以辅助图像采集、修复代码并每日检查实验,而一个简单的确定性捕获服务每 10 分钟记录一帧,确保在 Agent 离线时数据捕获不中断。
Pupavision 是一款基于单板计算机和昼夜摄像头的低成本物理 AI 仪器,造价约 45 至 75 美元,用于自动记录果蝇蛹化过程。 核心架构采用分层设计:前沿编码 Agent 在设备上运行以辅助图像采集、修复代码并每日检查实验,而一个简单的确定性捕获服务每 10 分钟记录一帧,确保在 Agent 离线时数据捕获不中断。
提出ContactGuard,一种针对分块视觉运动策略的接触前执行监控器。 其潜在世界模型从无标签轨迹学习预测多视角嵌入,轻量级失败探针仅需少量标注数据。 该监控器可在不修改底层策略的情况下提供接触前中止信号。
世界模型梯度细化在模型预测改进大的10个检查点上平均提升67.8回报点。 研究对比了52个冻结TD-MPC2检查点,细化在剩余42个检查点平均仅提升0.2回报点。 诊断秩检验在24个新检查点上失败,未建立预测规则。
LEON 基于控制机械演化推导潜空间转移公式,引入共享算子矩阵与加法更新实现动力学结构化,替代隐式 Transformer 预测。 模型将预训练视觉特征转化为可观测变量,系数由演化的可观测量和动作上下文推断,以调制算子结构。 在单臂和双臂操作任务中,LEON 在包含多种扰动场景下,相比对应 WAM 基线提升了平均策略成功率,并在受控系统评估中展现出优于训练条件的泛化能力。
提出可达性修正辅助目标 RC-aux,在潜空间世界模型中解耦预测精度与规划对齐问题。 该方法在 LeWorldModel 骨干网络中加入时序多步预测与预算条件可达性监督,提升 LIBERO-Goal 等任务表现。 表明潜空间模型规划能力取决于表示是否编码了下游搜索所需的时空几何结构。
提出SADL方法解决JEPAs中的表示坍塌问题,无需额外参数或架构改动。 通过约束编码器以匹配正则化器需求,SADL将坍塌率从50%降至0%。 在控制与图像分类任务中提升学习速度与稳定性。
研究人员提出AMRT框架,解决现有神经解码方法在跨被试和任务迁移中的泛化局限。该框架采用两阶段设计,通过速度估计锚定局部运动并精炼长时程轨迹。在三个数据集上,AMRT展示了向未见试验和神经记录范式迁移的潜力,验证了共享神经表征的价值。
针对不确定负载限制物理模型精度的问题,研究提出 BoBDeLaN 架构,结合有界增益递归平衡网络与稳定线性滤波以抑制测量扰动敏感性。 该架构保证递归初始化的指数遗忘,并提供有限时域频率加权上下文扰动界,在注入扰动下相比 LSTM 编码器表现出更低的高频敏感性和剩余扭矩预测误差。 方法通过模型预测控制仿真与真机操作任务验证了有效性,相关成果已提交至 L4DC 2027 会议。
summary_zh: XMimic 和 XSoma 能在不到一分钟内训练出人形机器人复杂动作,在四块 H100 GPU 上实现显著加速。 XMimic 用 0.86 分钟完成 LAFAN1 数据集 40 个动作的 G1 机器人跟踪,比 BlinkMimic 快 3.7 倍。
OntoCBF 通过编译领域本体为控制屏障函数滤波器,解决异构机器人团队因约束缺失导致的失效问题。 在模拟仓库场景中,OntoCBF 的安全违反率仅为 20-70%,远优于设计类滤波器 89-100% 的违反率。 该滤波器的每次安全违反均始于冲突,且多智能体 PPO 策略可将不可行二次规划比例降低 18-41%。
该多模态框架融合第一人称 RGB 图像与 128 通道前臂 HD-sEMG,实现 20 个手指关节角度的连续回归。 视觉编码器与 EMG 编码器配合 DoF 查询 Transformer 解码器,为每个自由度分配独立可学习查询,实现自适应融合。 融合模型平均 R² 达 0.88,MAE 为 2.80°,优于单模态基线,并在视觉遮挡场景下展现更强鲁棒性。
Lazy-MOSAIC 通过引入廉价的技能效果世界模型,显著减少了物理模拟器的查询次数,在杂乱的货架取物任务中实现了比基线方法快得多的规划速度。 该框架在毫秒级预测技能可行性并聚焦关键模拟,同时在假设失效时仅修复受影响的搜索部分。所有返回计划中的技能均通过模拟验证,且在所有测试设置中成功率匹配或超越基线。
研究提出 Cleanly-DINO 模型,利用冻结 ViT 特征从少量演示学习视觉任务空间,专门解决由视觉状态变化定义的清洁任务表征难题。 模型通过任务区域掩码拟合投影及进度指标,在强化学习中作为观测编码器和奖励信号,并在真实机器人擦拭流程中验证了任务执行引导能力。 该工作被 COMPOGEN Workshop CoRL 2026 接收,展示了视觉状态抽象在机器人操作学习中的应用价值。
提出 PlanDiv 动作头,利用潜在计划假设提升视觉语言动作模型测试时缩放效果。 轻量级规划器提出 K 个潜在计划假设,共享掩码扩散执行器解码动作块;仅在演示数据上训练,无需计划标签或奖励。 在 CALVIN ABC→D 五任务链上成功率从 56.9% 提升至 69.9%,LIBERO-Long 上 4 个计划消除 40% 单候选失败案例。
AsymEEF 是一个可执行跨末端执行器演示生成与统一双臂策略学习框架,解决遥操作数据采集成本高且难复用的问题。 该框架通过运动学教师锚点和稀疏实世界 X-Calib 锚点校正抓取执行差异,共享编码器将腕部位姿映射到形态无关潜在空间。 在四个模拟和六个真实世界任务中,AsymEEF 相比基线提升回放成功率,模拟中实现平均 16.6 倍回放有效扩展增益,并支持真实机器人下游策略训练。
冻结骨干的 ReRead 纠错器重读缓存以预测动作残差,在 RoboTwin 2.0 的 11 项最难任务中分别将 LingBot-VLA、π0.5 和 Fast-WAM 的成功率提升 23.45、13.09 和 8.00 个百分点。 该模块仅增加 4.17% 延迟,且证明纠正依赖于骨干自身表征,外部视觉编码器无进一步增益;在 Flexiv 双臂机器人上将特定任务成功率从 0% 提升至 36%。
提出物理信息因果推理(PICR)框架,结合上下文潜变量与固定物理信息网络,使机器人无需重训即可适应新物理条件。 在NVIDIA Isaac Sim的Franka Panda机械臂实验中,PICR预测变载荷运动时,相比基线模型在未知载荷下的误差降低1.6至3.8倍。 分析表明,仅从交互中推断的上下文能编码并跟踪载荷物理属性,其感知的重力与惯性项与仿真器拉格朗日分量一致。
ImpedanceMimic 是一种强化学习策略,通过调节每关节刚度、阻尼和位置设定点实现力精确运动模仿。 该模型在 129 名参与者和 6 项活动中,于运动学和力保真度上优于匹配固定增益 PD 控制器,并实现零样本泛化至未见人类及人形机器人。
研究团队提出 NF-VLA 模型,结合条件自回归归一化流与基于分数的动作细化。在 LIBERO 四个标准套件上成功率达 98.35%,LIBERO-Plus 上达 72.6%。该模型作为竞争性的 VLA 控制方法,确立了自回归流在机器人操作任务中的有效性。
CAST(Certified Action Selection at Test time)通过从冻结扩散策略中采样动作块,利用障碍条件进行认证并依据学习值集成排序来执行动作,解决了部署后遇到新约束时重新训练不切实际的问题。
针对 VLA 模型在部署中因执行器漂移失效问题,ReGround 提出在推理时保持模型冻结并重新接地预期动作的方法。 该方法通过任务无关的肌肉颤抖学习动态,无需奖励或再训练即可在检测到偏移时激活。
论文提出结合想象策略改进与直接校准的世界模型强化学习框架,通过交互感知潜空间模型支持模拟,利用离策略校正与重放更新监督评价器与执行器,平衡自动驾驶车辆(AV)进度与人类驾驶车辆(HDV)交互负担。 在无人信号灯交叉口模拟实验中,该框架实现了100%成功率和跟随HDV加速度变异性分别较PIWM和DreamerV3降低65.5%及44.0%,消融实验证实价值校准降低HDV负担,策略校准提升通行效率。
AgenticJevNav 将目标导向规划、证据记忆与事件触发验证结合,在60次模拟试验中成功率为 73.33%,领先对照组 21.67 个百分点。 该架构在真实 GENISOM L1 四足机器人 30 次试验中成功率达 70.0%,采用单一执行器与独立 RGB 反射约束运动,目标修订会撤销过时请求。 模拟与实体机器人结果共同验证了该架构的有效性,剩余失败案例揭示了改进接地与接近规划的机遇。
Fast-WAM 研究表明,两步无缓存策略比跨周期缓存更高效,两者在 LIBERO-Goal 上表现相当。 具体数据显示,两步无缓存调用延迟从 202ms 降至 92ms,且成功率与十步无缓存差距在两个百分点内。 缓存覆盖 80% 路径时,成功率从 95% 降至 63%,建议采用更少步数的基线模型。
HospitalBench 发布了首批诊断基准结果,基于 NVIDIA Isaac Sim 评估具身智能体在 10 项医院杂务长任务链中的表现。 该基准通过 5 个计分子任务测试因果连续性,首轮 15 次测试运行中仅 2 次通过全部子任务,并分析出 189 次失败调用。
论文提出 UNITE 框架,将四个 Qwen3-VL-8B 具身视觉语言专家整合为共享主干混合专家模型,总存储仅 20.3 GB,比未压缩 MoE 节省 59.6%。模型采用共享浮点锚点与专家特定位二值化表征,适配阶段仅更新少于 0.6M 参数。在 22 项基准测试中,UNITE 在扫描理解与导航任务上超越各源专家,最高提升 19.1 分。
FECHRL 方法解决机器人导航中持续学习与可解释性的冲突,实现稳定知识保留与有意义行为解释。 引入两阶段行为克隆策略平衡适应与进化,提出基于 Takagi-Sugeno 模糊推理系统的模糊 critic 以缓解值外推误差。 实验结果表明该方法在单一框架内有效统一了持续学习能力与策略可解释性。
RoboACE 框架通过协同演化课程与执行 harness,在冻结基础模型上实现机器人自我提升。其在 LIBERO-PRO 评测中成功率达 74.0%,比初始部署高出 15.0 个百分点。该方法优于现有控制器与 agent 系统,验证了自适应练习的有效性。
该论文提出基于 Transformer 的 MARL 车辆控制模型,利用 V2I 通信协调 CAV 进行高速匝道汇入。模型通过注意力机制从全局交通状态中过滤关键信息,在 SUMO 仿真中实现了最高流量、安全性和平滑度。 四小时动态需求仿真显示,该模型成功避免交通堵塞,而基线模型在高流量下失效;其在存在人类驾驶车辆及 V2I 通信误差环境下仍能保持无碰撞和高吞吐量。
NI-ACT框架将皮层信号解读为持续意图以驱动机器人抓取,在反事实任务中意图替换改变了抓取行为。 将群体潜在变量作为意图token使抓取完成率从69%升至81%,PMd区域读取效果优于M1(77% vs 53%)。 证明神经信号的表征方式及读取时空位置共同决定了向具身智能体传达运动目标的有效性。
3D-MoE 发布,这是一款采用混合专家架构的 3D 视觉语言模型,旨在解决空间智能任务中密集 Transformer 的高计算成本。 其核心创新包含模态与空间上下文感知的概率路由方案,并集成了基于扩散的 Pose-DiT 动作头,实现单步生成 6D 位姿动作。 该模型在减少激活参数量的同时实现了机器人操作任务的实时推理,代码已开源。
SynthDCB 提出了基于世界蒸馏的可扩展设备控制基准,通过模块化可执行组件构建包含显式状态和时序动态的交互世界。 该基准涵盖 Home、Car 和 Phone 三个领域,包含 114 个设备类、1,166 个函数和 95 个事件。
summary_zh: 研究人员提出 Teleo-Spatial Intelligence 并提出 EscherVerse 数据集,包含 11,328 个真实世界视频。
E0 提出一种基于 Tweedie 离散扩散框架的方法,通过量化动作 token 上的迭代去噪生成细粒度且可执行的动作,解决现有 VLA 模型动作粗糙或不稳定的问题。 实验在 LIBERO、VLABench、ManiSkill 和 Franka 实机上测试,E0 表现达到最先进水平,平均优于强基线 8.1%。
D-VLA 提出了一种高并发、低延迟的分布式强化学习框架,旨在解决大规模具身基础模型训练中的资源冲突瓶颈。 该框架引入“平面解耦”隔离高频数据与低频权重控制,并设计了四线程异步“泳道”流水线,实现采样、推理与梯度计算的全并行重叠。 在 LIBERO 等基准测试中,D-VLA 在百亿参数模型上的吞吐量和采样效率显著优于主流强化学习框架,且在万亿参数扩展性测试中保持线性加速。
RB-VLA 提出一种信念中心架构,通过自监督世界模型目标维护紧凑潜在状态,解决部分可观测性下的任务进度丢失问题。 该模型无需存储原始观测或随时间扩展内存,VLM 仅需每任务查询一次提供高层意图,结合信念跟踪实现因果接地控制。 在长时程基准测试中,RB-VLA 相比 pi_0 提升成功率,多阶段抓取放置任务提升 52.5%,堆叠任务提升 37.5%,推理延迟降低 5 倍。
27B 开源推理模型在纯模拟环境中通过强化学习训练,无需演示即可原生使用真实机器人。 在 LIBERO 和 RoboDojo 上训练后,模型在真实双机械臂机器人上的任务成功率达 60%,LIBERO 基准成功率从 1.6% 提升至 74.4%。 该技术为机器人大规模后训练提供了新路径,且未在九个通用基准上造成能力退化。
GPT-6 Astra 发布开启了智能体机器人新范式,前沿模型在多项具身基准上匹配或超越任务特定策略。 智能体机器人系统通过闭环机制,结合基础模型与具身执行架构(Embodied System 2),将通用推理转化为受物理约束的可靠动作。 作者提出评估框架并规划研究路线图,目标是实现具备渐进式责任的持续自主能力。
该综述回顾了 2022 年 12 月至 2026 年 10 月间的 88 项视觉语言动作模型研究,涵盖 22 个模型的设计、训练与部署。 研究发现三个趋势:训练数据规模从 10,000 小时扩展至 20,000 小时,模型参数向 3-7B 及 1B 以下分化,且通用模型开始涌现。 指出部分在基准测试中近乎满分的模型,在环境轻微变化时仍会失效。
研究人员提出无量纲指标 LASR,用于在离线评估中测量世界模型潜变量是否提供超越当前状态和无关捷径的动作相关预测支持。 LASR 包含捕捉典型支持的 GeoLASR 和识别最弱案例的 WorstLASR,通过记录的动作与物理状态变化作为目标进行基准化。 在机器人操作数据和多任务面板上的实验表明,LASR 能检测已知动作信息、拒绝非动作捷径,并支持对不完美容潜变量进行分级比较。