RM-VLM:从自然语言任务描述到视觉接地的奖励机
提出RM-VLM方法,利用大语言模型从自然语言描述生成奖励机,并由视觉语言模型在图像观测中接地命题。 该方法在非线性格世界导航、机器人操作及3D物体收集三个领域验证,RM-VLM的任务成功率持续高于现有基于VLM的奖励方法。
提出RM-VLM方法,利用大语言模型从自然语言描述生成奖励机,并由视觉语言模型在图像观测中接地命题。 该方法在非线性格世界导航、机器人操作及3D物体收集三个领域验证,RM-VLM的任务成功率持续高于现有基于VLM的奖励方法。
研究在 Qwen3-VL-8B-Instruct 上考察视角模拟如何重塑内部表征,发现提示框架对表征的影响强于身份,而身份对行为判断影响更大。 在 100 张图像和 53 种条件下,早期层编码图像身份,后期层形成角色结构;最小身份声明可改变表征而不改变响应。 结果证明表征距离不必然反映行为相关性,揭示了人工认知系统中内部几何结构与功能后果的根本区别。
PCBRouteAgent 是一个多模态 PCB 布线智能体,旨在结合全局策略规划与本地执行。在 PCBWorld-Bench 的 4 个测试子集上,它实现了 40% 到 100% 不等的清洁通过率。
通过多模态潜在扩散模型生成合成样本,提升罕见金融窗口分类效果。CVaR 定义罕见窗口,XGBoost 分类器 AUC 达 0.953 - 0.960。 该模型在四个窗口长度上优于表格扩散基线。发表于 NeurIPS 2026 MLxOR。
提出免训练框架 GuidedWAM,在采样时向冻结的自动驾驶世界动作模型注入驾驶目标,无需重新训练。 构建可微能量作用于采样器中间动作估计,通过引导调度和速度受限修正稳定生成;在 NAVSIM v2 hard-split 上使公开模型 EPDMS 提升 1.8 至 3.6,单步采样时间增加不足 10%。 将能量引导确立为 WAM 的实用后训练控制通道。
大型视觉语言模型在组合性安全基准上表现强劲,但CMaG无训练方法证明其安全机制存在内部脆弱性。在Qwen2.5-VL-7B和LLaVA-1.5-7B上,CMaG最多降低组合性安全评分65分,同时保持超98%输出连贯性,且方向可迁移至防御性训练加固的模型。
针对多视图数据缺乏先验结构的场景,研究引入 CANEns(CAnonical correlation NEural networks),利用视图内和视图间协方差作为关系归纳偏置直接解决下游任务。
提出 CST-Bench 基准,包含 7,082 个样本,覆盖 6 种干预类型和 12 种变换算子,用于评估反事实空间推理。 基准测试表明,普通空间推理有效的方法在反事实干预下可能失效。 提出 CT-OPSD 方法,利用 CST-Bench 注释指导教师模型学习反事实状态转换,并蒸馏到仅基于真实观测推理的学生模型,作为提升模型的反事实空间推理监督资源。
研究提出可扩展贝叶斯高斯过程分类框架,基于 Phikon 嵌入和 RPCholesky 加速计算,在约 30 万训练点下实现可处理的 HMC 后验采样。 框架在 PCam 和 CAMELYON17-WILDS 基准测试中,将期望校准误差降低最高 88%,假阴性率降低最高 90%,在分布偏移场景下效果显著。
提出服务器端稀疏专家分配框架 S³-MoE,通过利用局部观测和探索机制恢复客户端相关的专家。 S³-MoE 相比使用全量专家的 FedAvg 平均准确率提高 1.31 个百分点,但每个客户端仅需加载 5 个专家。 该工作已被 2026 IEEE ITW 会议接收。
研究提出跨智能体形式化协议,发现验证成功不等于独立一致。在 96 份临床试验文档上评估,强模型担任实现者时一致性达 53.0%,反转角色仅为 14.3%。 最强配置 GPT-5.6-luna/GPT-5.4-mini 一致性为 34.4%,且受直接矛盾主导。
Google Research 在 Nature 发表论文,介绍了名为 AI-PPG-ACC-HTN 的多模态人工智能系统,该系统利用消费级智能手表的光学传感器(PPG)和加速度计(ACC)数据,无需传统臂带校准即可被动检测高血压迹象。
NVIDIA 在 Hugging Face 上发布四个 Cosmos 3 Nano 开放权重模型,包括 Transfer-Auto、Sim-Auto、Sim-Transfer 和 Sim-Bimanual,支持多传感器驾驶仿真与双臂机器人交互。模型采用 OpenMDW1.1 许可证,提供商业与非商业用途权利,并附带分阶段后训练配方。
推荐理由:NVIDIA 发布四个 Cosmos 3 开放权重模型,提供从驾驶到机器人交互仿真的完整工作流,读者可评估其开源生态价值。
亚马逊 A+ 内容使用高质量素材可提升 8–20% 销量,但现有单资产评估难以捕捉整体质量。该方案将完整电商页面渲染为快照,由 VLM 进行整体评估,并结合 OCR 信号与轻量级 CatBoost 分类器预测专家质量标签。 SHAP 解释用于生成改进建议,该端到端流水线基于 Amazon SageMaker AI 实现,涵盖数据摄取至生产监控。
Mistral Large 4 (Le Chonk) 提升编码、网络安全及文档推理能力,Mistral Studio 支持在云端、VPC 或本地部署智能体、工作流和应用。 平台新增托管智能体、企业上下文、可观测性及评测功能,通过 MCP 服务器连接数据,ABANCA 和 BNP Paribas 等客户已在生产环境中使用该方案。
豆包工作支持抓热点、做方案、出内容、管素材、看反馈五类营销场景,提供对应 Skill 与提示词,可结合品牌信息直接调用。 功能涵盖调用“营销热点策略师”与“全案营销”技能生成选题和 PPT 全案,支持“无限画布”统一视觉设计,并调用 Seedance 2.5 生成约 30s 真人宣传短片。
智象元一CEO梅涛在论坛上提出构建智能体化的全模态世界模型,以跨越数字智能与物理智能鸿沟。 该模型由LLM决策大脑、Omni-Model模拟器及Embodied Context执行层协同,实现同一Token空间内思维与物理世界的统一。 这一架构旨在解决物理AI数据匮乏问题,通过合成高精度动作视频为具身智能提供数据供给,代表AI演进的全新方向。
SEE Conf 2026 以“创造力复兴”为主题,于 2026 年 11 月 28 日在杭州蚂蚁 A 空间举办。 大会探讨模型能力与开源协作,涵盖 QMuse、TaoDesign 及 Coding Agent 等实践,旨在让构想转化为可体验的产品。 活动强调以人为出发点,通过 AI 拓展创造边界,将技术增量转化为用户可感知的体验价值。
多智能体系统 MAIA 通过苏格拉底式探究,将模糊情感转化为用户验证过的视觉文本简报。在 N=16 的组内被试研究中,MAIA 相比基线在认知支持上取得显著增益 (r = 0.97, p_FDR = 0.003)。 系统引入“验证优先于创造”规则,通过验证者门禁阻断未获批准的内容。三位职业概念艺术家的盲审表明,重写后的简报更完整且可执行。
PixCon 在 DINOv2-Base 与 UniMatch V2 基础上添加类别级记忆库,通过仅存储学生预测与标签一致的特征进行多正例对比学习,推理时丢弃该模块。 在 Pascal VOC 183 标签设置下,方法使平均 mIoU 从 87.01 提升至 87.90,训练耗时增加 15.3-19.7% 且不增加推理开销。
AvalancheBench 是一个多模态企业分析基准,通过 3 个验证任务、58 道文/图/文档题评估数据 Agent 从潜在世界规格中恢复数据的能力。基准引入 CATC 指标加权 Token 消耗,测试 5 种模型配置在 Snowflake Cortex AISQL 引擎下的表现,最佳分析保真度为 0.82。
EmoTrack 联合编码临床特征 token 与冻结的客户轮次嵌入,使用 PHQ-8 条目查询估算总严重程度。在 DAIC-WOZ 等数据集上,EmoTrack 将平均绝对误差降低 12.5%,归一化聚合误差降低约 8.6%。 该模型可选引入前一次咨询的证据,并在引入的多会话数据集 CounselArc 上实现受控评估。
论文提出 ReMoA 框架,通过递归潜在精化提升扩散模型的结构化推理能力。 在 ImageNet 生成任务中,DiT-XL 的召回率从 0.57 提升至 0.62;GenEval 基准下 SD3-medium 总分由 68.33% 升至 71.18%。 该框架在不增加递归额外参数的前提下,使各神经模块随扩散时间步特化,增强输出细节丰富度与对齐效果。
研究利用 FacesInThings 数据集测试了包括 CLIP、LLaVA-1.5、Qwen2-VL 在内的六种视觉模型,考察其人脸选择性。 模型对幻觉人脸的反应与人类不同,例如 CLIP ViT-L/14 在特定分类描述下将约半数非人脸区域标记为 Human。重新措辞分类描述会改变模型是否偏好识别出人脸区域。
EgoGen 是一款专为第一人称视角(egocentric)感知任务设计的合成数据生成器,已被 CVPR 2024 接收为 Oral 论文。 其核心是结合碰撞避免运动基元与两阶段强化学习的新颖人体运动合成模型,虚拟人可基于第一人称视觉输入感知 3D 环境,无需预定义全局路径即可适用于动态环境。 EgoGen 将完全开源,为构建真实的第一人称训练数据提供实用方案。
研究提出 AutoMMemo 框架,让智能体自动设计记忆机制以学习多模态经验。 框架将记忆表示为可执行程序,通过迭代评估、反思引导变异和树搜索发现有效策略。 实验在 GUI/Web 导航及多模态推理基准上验证其持续优于无记忆及固定基线,并支持零样本迁移。
一项无需训练和遮挡标注的新方法,通过对比可见高度与单目度量深度的排序差异来检测行人遮挡,在KITTI数据集上达到0.909的AUC。 该方法利用遮挡下检测框跨度不变但深度被拉近至遮挡物这一特性,无需焦距或身高参数,且在控制距离频段内AUC保持在0.894-0.925,证明其并非距离代理指标。
论文提出 Counterfactual Foreground Retrieval (CFR) 协议,用于评估动物个体识别模型是否依赖真实特征而非背景捷径。CFR 通过全图、仅前景和仅捷径三种视图进行检索评测,将分数转化为证据画像。该工作发布了 34 个数据集的约 50 万个掩码及评测代码。
研究团队提出了面向 AWS EC2 F2 云 FPGA 基础设施的机器学习模型开发工具链,实现了 Vitis HLS 到 HDK 再到 AFI 的完整流程。该工具链填补了学术文献在此领域八年的空白,并引入四级方法论协助定位 FPGA 特定电路错误。
ZETA架构通过分离路由策略与动作执行,显著提升了科学视觉智能体对邻近语义边界的科学意图路由准确性。 在包含51个科学意图查询的零样本基准测试中,引入显式路由策略使Qwen 3.8的分割路由准确率从6.2%提升至75.0%,检测路由准确率达到100%。 该架构使路由决策与下游工件可独立观测,为区分意图选择错误与视觉执行失败提供了关键基础设施。
EvoWorld 提出“视野外因果演化”问题及脑-渲染器协作框架,将视觉语言模型作为世界大脑维持状态并推理事件后果。 实验表明,EvoWorld 相比近期模型显著提升了事件条件因果演化能力,同时保持视觉质量与一致性。 该工作建立了推理引导下超越当前视野的自主世界演化基准,填补了扩散模型在状态维护与因果一致性上的机制空白。
该系统使用智能手机摄像头捕捉全身动作,通过 GPT-4o 和 MCP 后端实时生成个性化评估。 20 名 18-25 岁参与者的研究表明,VR 组在乐趣、沉浸感和推荐意愿上显著高于非 VR 组。 MCP 系统与专家评估的一致性达到 87.5%,验证了作为反馈工具的可靠性。
研究者提出持续先验补偿框架(CPC)及增强版 CPC++,以解决人类动作预测中短期预测受长期预测干扰的问题。 该框架将预测任务划分为多个子任务并分阶段训练,通过引入可学习的先验补偿因子(PCF)及细粒度先验补偿因子(FGPCF)来显式衡量和缓解先验知识遗忘。 在三个基准数据集及 PGBIG、siMLPe 等主流模型上的实验证实了该方法的有效性与灵活性,相关成果已被 IEEE TPAMI 接收。
summary_zh: 研究团队提出对抗性基准 Trick-or-Treat,通过配对的真实胸部 X 光与合成临床照片评估前沿模型。 该基准揭示模型在 45% 至 57.5% 的不匹配配对中产生临床显著幻觉,倾向于忽略照片与影像的差异。
Traffic-VL 是一款 80 亿参数的视觉语言模型,通过直接映射多视角图像和自然语言相位描述生成信号决策,实现了端到端交通控制。 基于 SynTra-V 数据集,模型采用离线强化学习适配视觉编码器,并在闭环模拟中进行在线策略优化,性能超越 Gemini 3 Pro 等通用模型。 该模型在十路口为期三周的部署中证明了其视觉泛化能力和有效约束控制。
Prism 提出一种双向自教学后训练方法,在无需外部验证器的情况下,通过自生成轨迹提升统一多模态模型的生成与理解能力。 在 SenseNova-U1 模型上,Prism 使 GenEval 从 85.8 提升至 89.2,MME 总分从 2282.6 提升至 2311.6;BAGEL 模型也观察到一致的性能提升。
MonoLaDN 提出一种语言引导去噪框架,将 VLM 的几何推理能力转移至单目 3D 检测器,保持部署模型纯视觉特性。 训练时使用冻结 VLM 生成遮挡、深度等结构化推理并注入噪声,检测器通过重构干净推理内化几何先验;在 KITTI 3D 和 nuScenes 数据集上性能优于 SOTA 且具备良好泛化能力。
OccSplat 框架通过遮挡感知高斯致密化,针对缺失几何而非像素补全,提升驾驶场景重建质量。 该框架包含高斯遮挡映射与补全模块,在 nuScenes 基准测试中显著改善遮挡区域的渲染效果。 论文已被 CV4DC, ACCV 2026 接收,实现了无需逐场景优化的前馈推理。
针对多模态大推理模型中视觉输入可能泄露敏感信息的问题,研究提出 Visual-Keyed Counterfactual Rebinding (VKCR) 框架。该参数高效框架通过定位紧凑的参数子空间并反事实重绑定,在特定视觉上下文抑制目标行为,同时保留允许场景下的知识访问。实验表明 VKCR 显著降低了图像条件的目标泄露与幻觉重关联,且有效保留了非敏感视觉推理能力。
纯文本训练的 Qwen3-8B 在视频时间定位任务上实现零样本性能,Charades-STA 达成 14.45 mtIoU,QV-Highlights 达成 20.72 mtIoU。 采用 LoRA 适配 134K 样本语料,引入 NER 技术映射最近实体嵌入,解决视频帧与文本间的模态差距。 结果优于现有四种基线,部分实现从文本到视频的跨模态迁移,推动无配对标注的多模态模型训练。