D&A 解耦描述与评估,使 VLM 成为零样本机器人奖励模型
D&A 方法解耦场景动态描述与基于明确标准的评估,解决 VLM 在机器人任务进度估计中的确认偏差。该方法纯基于提示,跨任务泛化能力匹配或超越后训练奖励模型。其提供的细粒度部分进度指标可有效支持下游强化学习。
D&A 方法解耦场景动态描述与基于明确标准的评估,解决 VLM 在机器人任务进度估计中的确认偏差。该方法纯基于提示,跨任务泛化能力匹配或超越后训练奖励模型。其提供的细粒度部分进度指标可有效支持下游强化学习。
研究发现,基于模型强化学习智能体在执行量子信息任务时,其内部规划器自发发展出时空特征零结构,能高保真重构闵可夫斯基度规的因果结构。智能体无需直接获取时空度规信息,仅通过最大化局部量子探针与量子场间的量子互信息来学习,其预测与行动揭示了时空几何源自操作性量子经验。
PlantVLM-Edge 提出量化视觉语言框架,实现无云连接的边缘设备作物健康诊断。在 NVIDIA Jetson AGX Orin 上部署,4-bit AWQ 量化保留 98.6% 精度并将 2B 模型内存降低 49%。
提出 CAT-CKD 方法,结合对比适配器训练与共识知识蒸馏,实现无源数据的多源领域自适应皮肤癌诊断。 在五个公开皮肤病变数据集上,平均 AUROC 达 86.1%,仅需 4.3M 可训练参数。 解决了隐私法规限制下源数据不可访问及灾难性遗忘问题,代码已公开。
MIRA 提出一种无需人工标注的训练框架,通过在训练过程中注入经过筛选的欺骗性视觉上下文,解决了现有强化学习框架中感知与推理脱节导致幻觉累积的问题。该框架包含基于组的反思触发机制,帮助模型自主检测并纠正视觉线索与逻辑约束间的矛盾。实验显示 MIRA 在域内推理基准上平均提升 7%,已在 NeurIPS 2026 被接收。
summary_zh: VideoEditor-MoE 是首个开源的复杂视频编辑混合专家(MoE)框架。基于 5B 编辑模型初始化,该架构扩展至 14B 和 56B 参数,每个 token 激活约 8B 参数,通过 MoE-Attention 在保持全局交互的同时扩展注意力容量。
MultiMental-IAS 基于 CARLA 构建,收录 23 名被试在 148 个试验中记录的车辆遥测、EEG、PPG 及座舱视频,覆盖六种诱导心理状态。 数据集提供跨被试非IID评估协议,多模态融合在已知驾驶员上 macro-F1 达 0.94,未知驾驶员上由 0.408 提升至 0.485。 该资源为驾驶员监控中的非IID泛化、个性化与联邦学习提供具体测试床。
DINOFAS 提出一种基于 DINOv3 的人脸反欺骗(FAS)框架,采用 LoRA 和风格-内容解耦模块(ASCD)。 在标准 OCIM 协议下,该模型在留出未见领域上的平均 HTER 为 9.09%。 在合成到真实的泛化测试中,DINOFAS 取得了最低的 21.41% 平均 HTER 和最高的 86.14% 平均 AUC。
研究人员提出探针引导梯度增强(PGGB)方法,通过独立评估各模态表示质量来增强较弱模态的梯度,同时保留主导模态强度。 PGGB 在跨 4 个领域、2-4 种模态的 8 个基准测试中表现优于最先进方法,且在低不平衡场景下保持竞争力。 代码已开源可用。
AVID 发布了首个用于听觉诱发视觉心理意象(VMI)解码的训练级 5.0T fMRI 专用资源。 数据集包含 9 名参与者的约 67 小时记录,分为场景级复杂部分与受控简单部分,并提出了标准化评估协议。 AVID 为心理意象专用模型开发和 VMI 解码基准测试提供了数据基础,显著减少了感官污染。
论文提出 Spatial Transfusion,一个统一的 FOA 框架,将预训练空间音频理解模型扩展至生成与编辑。模型保持骨干网络冻结,引入基于模态的 LoRA 路由及课程学习策略。实验显示,该模型在保留空间理解能力的同时,其生成与编辑性能优于全量微调。
提出 E$^2$Forecast 模型,在嵌入空间预测地球表面变化,有效规避光谱值预测中的噪声干扰。该 Transformer 模型包含高斯分支和整流流分支,在 Sentinel-1 和 Sentinel-2 基准上将余弦距离减半至 0.10。无监督异常检测任务中 F$_1$ 分数从 41.58 提升至 48.70,代码已公开。
EarthJev 是一款 0.8B 参数模型,通过 Qwen3.5-0.8B 视觉编码器处理 Sentinel-2 多光谱数据,无需生成 token 即可回答遥感问题。 单题推理耗时 19.9 ms,比多模态语言模型快 4.3 至 8.7 倍;在 36,028 道测试题上准确率为 86.0%,校准误差(ECE)为 0.006。
针对具身智能体回答问题时的场景图记忆机制,研究提出图交换测试以诊断模型是否真正依赖图结构。 在包含两至七间房间路径的问答基准中,文本形式记忆比无记忆提升30分,而图编码形式表现不佳;将每个节点分配独立输入token可额外提升8.3分,且通过交换测试验证增益源自图结构。
新基准 ReConSpatial 评估 18 款前沿 LVLM 的多视角 3D 场景重建能力,指出相对结构与度量重建存在一致差距。 GPT-6-Astra 在结构任务得分 81.4%,但度量重建仅 58.7%;9 项原子空间问答任务关联原子能力与重建质量。 实验表明 3D 地图注入可区分场景构建与路径规划,空间微调在通用视觉语言基准上实现广泛迁移。
MUPA²S 结合面部视频和 ECG 信号,通过统一 token 表示和非对称注意力进行自动压力评估。 在 58 人数据集上,面部视频测试准确率为 69.44%,视频-ECG 融合达到 69.58% 且参数量约为特征级融合的一半。 统一输入级集成提供了参数高效的跨模态联合处理机制。
研究提出联邦知识保持学习(FKPL),在 Office-Caltech-10、PACS 和 DomainNet 子集上平均准确率分别为 73.01%、67.00% 和 64.51%。
针对多模态大语言模型在生成 React、Vue 和 Angular 代码时因负迁移导致的编译失败,提出了一种基于兼容性与异质性信号的阶段式微调方法。 该方法首先应用保持原生语法的归一化映射,离线估计跨框架异质性与兼容性以自动确定训练分组及顺序,最终通过阶段式适配器调优减少干扰。实验表明,该方法在多个基准测试中提升了生成质量与编译成功率,相关研究已被 NeurIPS 2026 接收。
提出一种混合深度学习方法用于多变量时间序列异常检测,整合变分自编码器中的2D卷积网络与门控循环单元,以捕捉时空信息。 该方法利用2D卷积网络提取特征,结合基于预测的深度神经网络,在公开数据集上与最先进方法对比实验验证了其潜在效果。 适用于电厂、智能家居和服务器等智能系统监控,有助于预防系统故障并维持功能。
六系统在乌尔都语Nastaliq手写数据集上评估,两款商用视觉语言模型(VLM)零样本错误率低于开源VLM和印刷体识别器。 测试使用2465张单行图像,未微调;商用VLM在纠错任务中表现更好,但收益有限。
Clef 27B 和 d1 3B 在七项放射学任务中表现优于或接近 Qwen3.8-27B,且无需微调。Clef 在 CT-RATE 体积任务中排名高于其 Qwen 骨干,d1 能耗仅为 Clef 的 1/3 至 1/9。System 1 模型能以更低计算成本完成高准确率放射学任务。
EgoMo3R 提出联合优化框架,从休闲自中心视频同时重建 3D 人体运动和场景几何。该框架整合单目深度、光流等底层视觉几何原语,并结合基于扩散的人体运动先验进行一阶优化。在 EgoExo4D 和 Nymeria 数据集上,EgoMo3R 在 3D 场景重建和自中心运动估计方面均优于专用基线模型。
GSExplorer 提出生成-重建框架,通过持久化 3DGS 世界状态实现高精度交互式世界生成。 框架利用 3DGS 场景提供多模态渲染条件,结合相对射线编码注入相机几何,并通过 SLAM 后端进行不一致性过滤与捆绑调整,构建了 293K 训练数据对。 该方法在单步和三步 WorldScore 评估中取得最佳性能,单步相机控制得分达 99.07,在 481 帧回溯测试中表现出强重访一致性。
提出 See, Think, Use 协议,将视觉语言模型的作答追溯至感知、推理或使用阶段,每项目增加两问且无需访问模型权重。该协议在两个模型家族和六个数据集上显示,优先计算分配可接近最佳均匀策略成本,并优于随机分配。
CuriousTogether 框架评估好奇心驱动的多智能体 LLM 交互,在8项任务中7项优于非好奇设定。 故事生成语义多样性提升最高达20.6%,刻板印象率降低14.9个百分点。 该机制为多智能体协作提供实用改进路径,惠及推理、创作及社会任务。
研究提出 JADE 联合去噪框架,让预训练视觉语言模型(VLM)与扩散动作专家在机器人动作生成中协同去噪,而非仅作为静态条件输入。 在 RoboDojo 基准上,JADE 基于 $\pi_{0.5}$ 方法取得 12.67% 的平均成功率,为评估中同类方法最高;相比 $\pi_{0.5}$,在四项真实双臂任务上的平均成功率提升 20.8 个百分点。
针对二手手机远程估值痛点,研究者推出双真值评测套件 PhoneValue-Bench 及弱标签训练集 PhoneValue-Corpus。 PhoneValue-Corpus 包含超 2 万订单与数十万张描述图像,ValueAgent 在 Bench-Full 基准上取得 84.1/100 分,外观字段填充率为 97.0%。 该工作为多模态二手交易估值建立了可执行基准与参考管道。
研究者发布 LF-VideoQA 数据集,包含 94 部近期电影上的 6300 多个开放式长形式理论思维问题,每题平均需整合跨越 23 分钟的场景证据,并附带用于召回与精度评分的 rubric。
提出覆盖、可比性与组合性三级能力框架,指出全模态嵌入研究正基于对比学习与Transformer架构趋向收敛。 三条统一路径为:变换扩大覆盖、对齐实现可比、联合嵌入达成组合性,主张联合嵌入为终极目标。 该立场论文提供首个统一、跨领域处理的全模态嵌入研究综述与路线图。
Pano2BIM 提出了一种几何约束的 VLM 智能体,利用已知房间尺寸的平面图和一张 360° 照片生成 LOD 200 级的近似 IFC4 模型。 VLM 识别地标与物体,确定性工具估算相机位姿并通过射线投射计算度量位置,Measure 工作流的家具足迹 IoU 达 0.53,单次运行耗时 3.8 分钟、成本 1.63 美元。
提出CRAFT多智能体框架,无需任务特定训练即可从自然语言生成参数化OpenSCAD程序。 核心采用JSON中间表示保留符号参数表达式,结合语义理解、渲染及自修正机制。在NopSCADlib等数据集上,其可编辑参数结构显著优于直接零样本基线。
SAMP提出自适应扩散水印框架,平均信息恢复准确率达0.993。 框架通过全局边缘调节与脆弱性敏感分配,优化嵌入强度与维度优先级。 相比SOTA方法,PSNR提升16.8%,LPIPS降低47.1%。
研究人员提出 ReactionBench,这是首个以人类为锚点的视频反应特异性理解基准。 该基准包含 31,834 个刺激-反应视频片段,涵盖 433 小时时长及 8 个领域,用于评估反应强度排序、时序匹配及解释推理能力。 在七个多模态模型中,最佳模型在四选一匹配任务中准确率仅为 50.9%,表明反应特异性接地仍具挑战性。
summary_zh: 提出 MedChain 语料库(182,573 条推理链)及 dCoT-SFT 监督方法,显著改善医学影像定位模型性能。 实验显示 27B 模型在 MedSG-Bench 达 77.24 mIoU 与 85.20 Acc@0.5,超越前最优模型 4.69 和 5.49 分。
针对视障与分心行人需求,一款 Android 应用利用重训练 YOLOv8 检测 18 类城市障碍物,实现低延迟实时预警。 通过剪枝、量化及早退出分支,配合 Android NNAPI,中等手机推理延迟由 3.2 秒降至 0.39-0.48 秒,推荐配置在 0.42-0.48 秒内保持 0.81 召回率,且无需专用传感器。
针对端侧视觉语言模型(VLM)在持续感知场景下的能耗,研究重审了视觉预填充(visual-prefill)的能量结论。 在 Jetson AGX Thor 和 Orin 上剖析 9 款 VLM 的 4,508 条记录,发现单次输出 token 解码成本随模型规模单调增长,而视觉预填充成本主要受视觉编码器架构效率主导。
该框架利用InceptionResNetV2与CBAM分类四种脑肿瘤,经12,064张图像验证,测试准确率达96.73%。 其OOD机制结合灰度检查与马氏距离等指标,在100张基准图上实现99%检测准确率。系统部署为NeuroScan AI实时Web应用。
TRACE-CBM 通过时间关系图递归预测概念状态,实现可编辑的视频活动预测。 该方法将观察活动 Top-1 准确率提升 1.2-8.5 个百分点,H3 预测准确率接近黑盒模型。 概念节点编辑可纠正 25.6-34.4% 的错误预测,概念引导实现高达 90.0% 的目标活动。
研究复现8个基准测试的官方评分器,发现仅评分规则差异就能使同一模型输出准确率变动高达22分。 研究使用5个单张16GB GPU可运行的开源视觉语言模型,通过盲测人类与LLM评审仲裁(Cohen's kappa=0.956)恢复真实答案,指出不同解析规则导致显著分数偏差。 该研究已获WACV 2027接收,并发布代码、标签及协议,建议基准测试报告不合规率并采用至少两种评分规则。
该研究引入自主智能体,将 AlphaFold 3 视为黑箱实验仪器,通过假设驱动迭代优化 MSA 序列选择与配对策略。 在 1,015 个蛋白质-蛋白质界面上,智能体在提升整体 DockQ 的同时,平均 MSA 序列量比默认管道减少 60%。 跨物种杂二聚体收益最大,FoldBench 平均 DockQ 从 0.465 升至 0.612,HD439 从 0.482 升至 0.562。