RoboWits:机器人创意问题解决的意外挑战基准
RoboWits 发布了一款评估机器人认知推理和创意工具使用的双臂基准,包含 30 个种子任务和 200 个变异任务。 该基准测试了微调 VLAs 和基于 GPT-6 Astra 的零样本策略,发现前者在变异任务上性能显著下降,后者虽优但仍损失约 1/5 成功率。 结果表明更强的基础模型无法完全弥补鲁棒性差距。
RoboWits 发布了一款评估机器人认知推理和创意工具使用的双臂基准,包含 30 个种子任务和 200 个变异任务。 该基准测试了微调 VLAs 和基于 GPT-6 Astra 的零样本策略,发现前者在变异任务上性能显著下降,后者虽优但仍损失约 1/5 成功率。 结果表明更强的基础模型无法完全弥补鲁棒性差距。
OASIS提出了一种通过SE(3)末端执行器轨迹预测对齐观测与动作空间的视动策略。 该策略结合融合视觉语言与度量深度特征的3D感知特征编码器,以及生成相机坐标系末端执行器轨迹的SE(3)轨迹预测器,使动作解码器生成符合刚体运动的动作块。 在仿真和真实世界实验中,OASIS在成功率和分布外泛化方面优于VLA和WAM基线模型,并被NeurIPS 2026接收为Spotlight论文。
提出代数一致的潜在动作模型 ALAM,通过重建、组合与逆一致性约束,利用无动作视频为视觉-语言-动作模型提供结构监督。 下游学习中冻结预训练编码器,将其潜在转移序列作为辅助生成目标,与机器人动作在联合 flow-matching 目标下共同生成。
summary_zh: HuMI 提出便携式类人机器人操作框架,通过非类人机器人演示数据驱动分层学习管道,实现全身技能迁移。 实验覆盖跪姿、蹲姿、抛掷等五类任务,数据采集效率提升 3 倍,在未知环境中成功率达 70%。
该框架利用 5 个 IMU 记录 20 米平地行走数据,生成能预测坡道与楼梯行走的数字虚拟人。在 11 名卒中住院患者中,预测姿态准确度分别达 95% 和 80%。 多中心随机试点显示,基于此预测指导康复组 Fugl-Meyer 下肢评分提升 6.0 分,对照组提升 3.7 分。
研究提出可微物理模拟双轴分类体系,区分导数所属对象与反向传播实现。 系统揭示精确性与内存权衡源于方法构建差异,并实测发现零阶方法在特定机制下优于模拟器梯度。 论文包含35页及9张表格,提供报告清单与诊断工具,确立研究议程。
MILD 系统通过升级人类角色为主动管理者,利用感知智能体与轻量策略智能体实现人车协同,在三个开放数据集上的人评策略适当性、舒适度及解释性上均优于基线模型。 该系统引入 ECPO 优化策略并整合检索增强生成模块,将交通规则、速度建议及驾驶员偏好动态融入决策循环,确保证据支持与结构完整性。 该研究被《交通研究通信》期刊接收,旨在解决部分驾驶自动化中人车双向认知错位导致的协调失败问题。
基于采样的规划器配合低比特世界模型时,舍入误差若在所有候选中共享且跨迭代持久,会导致成功率下降多达 100 分;在相同位宽下,使用每迭代重绘的共享抖动(dither)可消除大部分性能损失。
该方法利用单个预训练扩散模型生成竞争性状态假设,通过粒子滤波根据观测匹配度重新加权,同时指导状态估计与动作选择。 在部分可观测导航和视觉操作仿真实验中,相比无滤波的动作生成,该方法提升了状态估计和任务性能,且未修改预训练模型。
提出 Streaming Failure Forecasting(SFF)监控器,能在部署后从单标签持续学习,解决 VLA 策略在任务切换后故障监控失效问题。 SFF 固定离线网络,仅在每个 episode 后重拟合最后一层线性层,Jetson CPU 上每次调用耗时 2.18 毫秒;仅在成功时移动警报阈值。
Moto隐式动作分词器训练极不稳定,两次独立运行对相同机器人片段的编码调整兰德指数仅为0.001,bf16与fp32精度差异导致74%的token重新分配。 研究者利用这种自由度,将猕猴初级运动皮层PMv的表示几何通过直通相似度损失施加于分词器。
InfCoiL 提出协调规划器-控制器学习框架,通过共享形态接口结合流匹配规划器与多形态控制器,并在自回归循环中交替使用强化学习微调两者。 该方法引入 SFPO 优化流匹配规划器,在留出集 OMOMO 序列上,其目标达成成功率和物理跟踪精度优于开环层级基线。
针对 CoRL 2026 RoboEval 挑战赛的八项双臂任务,该方案采用离线策略强化学习与在线推理调优结合的方法,最终在验证种子上取得 0.990 的 RDS 得分。
LoH 提出一种无需训练的机器人世界模型校正方法,通过在指令旋转 90 度时保留冻结模型,仅修复从指令到动作的映射(“手”),在三个模拟任务中将成功率从 28.6% 提升至 62.3%。 方法通过冻结模型读取相机图像变化以识别并存储当前“手”,避免重学返回场景,在无明显变化时仅损失 0.6 个百分点成功率,且兼容多种预训练模型。
该零样本视觉语言框架将任务目标与物理可行性联合推理,使双臂人形机器人在执行前规划障碍物移动和操作选择。 在CENTAURO轮式-腿式混合人形机器人上的九个语言驱动操作场景中,该框架的比非执行感知基线模型更高的任务成功率证明了其优势;在专门设计的失败场景中,其分层验证器能以比总是重新规划更少的模型查询次数来从执行失败中恢复。
UniOMA提出一种新的多模态对齐方法,在对比损失中引入几何感知的Gromov-Wasserstein距离正则化。该方法通过动态学习的GW质心减少跨模态结构差异,并特别应用于机器人感知中的力觉与触觉等低密度样本模态。
该框架通过两阶段训练,将机器人观测编码为紧凑表示并集成至预训练VLA策略,实现任务导向的主动上下文共享。 第一阶段联合编码观测与指令,利用未来预测和软任务进度学习指导压缩;第二阶段支持双向上下文交换,通过动作监督联合优化表示与策略。 实验表明在受限通信预算下性能显著提升,并在真实双机器人任务中得到验证,推动视觉传输向主动共享转变。
论文提出 Embodied First Exam,一个包含 1,156 个任务、涵盖 47 种机器人的统一评测框架,用于测试编码智能体在物理世界约束下的控制能力。在 456 个核心任务的标准设定中,最强的智能体 GPT-6 Astra in Codex 仅取得 34% 的成功率,表明现有编码智能体在可靠控制多样化机器人方面仍有巨大改进空间。
GeoMind 是一个针对桌面机器人操作空间理解的系统性基准,包含54种任务变体,涵盖空间推理与空间记忆。 它通过可自动化生成任务实例的pipeline进行评测,揭示了现有具身智能体在追踪身份变化和将几何约束转化为可执行动作方面的能力不足。 该基准已开源,旨在弥补现有评测中视觉提示过强和场景静态的缺陷,提升对开放世界环境适应性的评估。
summary_zh: Thermo-VLA 在四项热依赖任务中平均成功率达 0.86,领先 pi_0.5 基线 18 个百分点。 该模型使用 ThermoRes Encoder 将热图像分解为冷、热属性,并通过语言条件残差调节注入 RGB token。
提出无梯度指令蒸馏方法,通过直接编辑 π_{0.5} 视觉-语言-动作策略的 MLP 权重,修复其在 RoboLab 环境中的指令误读故障。该方法将 128 个测试种子中的成功数从 27 提升至 106 个,且将权重编辑应用于动作专家或动作头部时效果显著下降甚至失效。
DASH 系统通过解耦异步架构,将视觉-语言主干(System 2)与快速动作头(System 1)分离,使人形机器人控制频率独立于主干大小。 采用 LCM 协议并行运行,结合冻结主干与 ResNet 编码器,并在 RoboTwin 基准测试中保持 20 Hz 控制率,优于同步管道性能。
Holiday Robotics 团队发布 HolidayFactory 1.0 框架,用于模拟、生成和评估工业机器人任务。该框架包含 Holiday-Sim、智能体世界构建及 24/7-Bench 三大组件。
论文提出 World Model Planning Accelerator (WMPA) 芯片架构,旨在解决嵌入式机器人中世界模型规划的高能耗与热限制问题。 DreamerV3 风格模型剖析显示其受内存带宽限制,GPU 能耗下限超过 5.9×10^10 倍;3D 热仿真表明连续规划可使毫米级硅片升温至 556 K。
软体机器人强化学习训练时间从3年缩减至3小时,追踪误差降低40%。 使用6924参数aSSM模型,5分钟完成识别,优于数百万参数神经网络。
Kimodo-Policy 提出运动学动作模型(KAMs),将全身运动作为直接预训练目标。该模型在 HumanoidArena 基准测试中取得 72.14% 的最高成功率。其包含 678M 参数,其中 92M 可训练,实现了闭环控制。
summary_zh: SimplEvo 框架通过让 MLLM 维护自写文本记忆来改进具身智能体,无需更新模型权重或使用特权信息。 该框架在 EBench 上将 GPT-6-Astra 的成功率从 46.7% 提升至 81.7%,并在 RoboDojo 榜单以 69.63% 的成功率和 75.32 分位居榜首。
研究提出结合语境变量结构微调小语言模型(SLM),以提升社交机器人主动发起对话的恰当性。 构建了覆盖日常场景的语境对齐对话开场白数据集(CCO),并证实其优于零样本大语言模型。 该方法为社交机器人对话交互提供可落地的基础构建模块。
Sigma-LeWM 通过在 LeWorldModel 中引入反向动力学预测器和逆动力学动作预测器两个潜在损失,进一步约束了潜在嵌入结构。这一改进在标准世界模型基准测试和两个模拟机器人操作任务中,提升了模型性能与规划效率。该增强型结构对于提升实时模型基控制方法在真实机器人上的适用性至关重要。
LawKAN 通过嵌入非交换群律层并学习残差修正,解决已知规则下复合变换的误差累积问题。 在固定角度 SU(2) 任务中,54 参数模型比最强基线减少 27 倍参数量,精度距理论下界仅 0.05 度。 实际机器人手臂应用中,306 参数修正模型在 N≥60 时达到 1.12-1.14 mm 精度,优于高斯-牛顿法的 1.29-1.33 mm。
该研究提出基于 VLM 的 Agentic 框架,利用混合模型架构实现选择性协同感知,支持盲点推理与对话交互。框架结合常规目标检测、VLM 视觉语言推理及物理几何模块,并采用 CoT 提示增强可解释性。实验显示,其驾驶关键盲点检测准确率超 80%,对话驱动感知共享成功率超 90%。
RAIL 提出一种在教师策略训练阶段解决模仿差距的方法,通过对比学习学习教师与学生共享的潜在表示空间,并在该空间中直接训练教师策略。RAIL 避免了奖励塑造或事后微调,在多个环境中优于强基线模型,并支持零样本迁移至新任务。该方法已被 NeurIPS 2026 接收。
REINS是一种自进化Agent框架,旨在解决实时轨迹规划中LLM延迟与自进化缺失的问题,在模拟和现实基准中实现98%以上合规率,碰撞减少近50%,战术决策层延迟仅1.9-4.6毫秒。
预训练表格基础模型(TabFM)在数据稀缺时预测精度高于从头训练的LSTM和MLP。 其预测表现高度依赖上下文长度,长上下文能显著改善自回归预测,但推理速度比LSTM慢三个数量级。 结论表明TabFM可作为数据匮乏时的预测工具,但尚无法替代经过训练的规划世界模型。
summary_zh: CPNav 提出了一种结合碰撞感知规划与统计校准的视觉语言模型(VLM)动作评分的无地图导航框架。该方法利用共形预测(CP)对 VLM 动作进行离线校准,提供有限样本保证。
提出 BATCH 跨本体学习框架,利用人类演示数据提升机器人操作任务泛化能力。 框架通过自监督时序表征和循环一致性目标建立人机对应,无需人工标注。结合行为对齐协同训练和风格迁移,在未见任务配置上优于基线。
在 PushT 环境中,Beam search 使冻结 ACT 策略的任务成功率从 0% 提升至 18%,平均累计奖励从 39.44 增至 103.2。 提出 One Step Ahead (OSA) 门控机制,在保持或提升成功率的同时,较全量 Beam search 将运行时间缩短约 3 倍。 消融实验表明增加搜索预算并不一致地改善性能,未来工作将扩展至语言条件 VLA 模型及物理机器人。
PersonaDrive 提出了一种从人类演示中获取驾驶风格的视觉-语言-动作(VLA)代理,在 Bench2Drive 基准上比 SimLingo 提升 4.6% 驾驶得分。 该模型基于 15 名参与者的 CARLA 演示数据训练,通过 FAISS 索引切换风格无需重训,激进而保守风格下平均速度提升 19.8%。 数据集与模型权重已在项目页面开源,研究被 WACV 2027 接收。
论文提出人形机器人交互原型 KR A1,整合 Qwen2.5-3B-Instruct、OpenVoice v2 及双层情绪处理管道,面向心理健康护理场景。 采用 InsightFace 人脸识别与 FAISS 向量检索实现用户个性化交互;当前评估仅涉及语音克隆的八项声学相似度指标,未进行临床部署。 情绪识别准确率、系统延迟及临床效果尚未评估,相关测试均为开发团队非正式自测,未涉及外部参与者。
LingBot-Touch 异构触觉表示学习基础模型 https://huggingface.co/collections/robbyant/lingbot-touch