研究扩散模型学习基本视觉技能泛化能力
研究人员提出受控实验框架 Visual Generative Lab (VGL),用于评估扩散模型在尺寸、位置等7项基本视觉技能上的泛化表现。该框架通过生成合成数据,发现模型的外推能力有限,组合泛化效果主要取决于技能组合数量而非数据集大小,且各项技能通常独立失败。 VGL 采用基于规则的任务指标精确测量泛化能力,揭示了默认设计下尺寸与位置外推在训练范围附近迅速退化,计数准确率仅约50%。
研究人员提出受控实验框架 Visual Generative Lab (VGL),用于评估扩散模型在尺寸、位置等7项基本视觉技能上的泛化表现。该框架通过生成合成数据,发现模型的外推能力有限,组合泛化效果主要取决于技能组合数量而非数据集大小,且各项技能通常独立失败。 VGL 采用基于规则的任务指标精确测量泛化能力,揭示了默认设计下尺寸与位置外推在训练范围附近迅速退化,计数准确率仅约50%。
研究提出 CueClash 数据集,揭示 Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 等前沿视觉语言模型在判断 3D 关系时依赖 2D 视觉线索。 低推理力度下,这些模型的“捷径差距”达 +18 至 +37 个百分点;提供地面坐标后可正确率达 99% 至 100%。 模型生成的场景地图多保留深度顺序但缩短深度,表明其 3D 空间理解仍存在局限。
EgoHandWAM模型预测3D手腕轨迹与未来视觉特征,在751,065个EgoDex窗口上训练,使用冻结的DINOv2编码器。 仅预测动作将使2秒手腕末端误差从60.26降至56.48mm,添加未来特征监督对轨迹精度影响甚微;利用记录的手部历史使平滑L1误差降低1.32%,随机打乱历史则会消除这一增益。
提出 AUCGR 与 pAUCGR 方法,将生成重构重构为判别排名问题,优化 ROC 曲线下的面积(AUC),无需修改现有生成重构框架架构即可实现即插即用。 理论分析建立与 AUC/pAUC 优化的严格联系并提供泛化保证,实验证实该方法同时提升了判别精度与细粒度感知表示能力。
该研究通过反事实干预测试了 2-3B 视频语言模型是否真正依赖其引用的区域。 结果显示,在 CLEVRER 数据集上引用间隙为 0.089,而在 NExT-QA 上仅为 0.003。 这表明仅检查引用位置不足以验证推理有效性,必须移除链条中明确命名的实体以检测答案依赖。
该研究通过生成心理计量学分析,从2020-2025年ISMIR论文中提取284个评估条目,识别出节奏、旋律等6个稳定质量维度。 方法上利用LLM标准化条目,通过Unique Variable Analysis和Bootstrap Exploratory Graph Analysis移除冗余并估计潜在维度,为音乐生成模型的用户研究提供统一方法论。
SimAI 是一个用于机制化用户仿真的框架,通过建模心理因素如何交互塑造用户反应来模拟对话,并提出了图重建目标以基于模拟对话对底层心理关系的反映提供图级奖励。
TriX-EEG 提出三级评估框架,包含信号有效性(SV)、去除忠实度(RF)和解释可靠性(ER),用于解决现有重建指标无法有效抑制伪影或提供可靠解释的局限。 该框架在基于 EEGDenoiseNet 和 PhysioNet 的三个公共基准上测试了九种已发表的去噪器,涵盖 EOG、EMG 和运动伪影。
研究指出视觉语言模型在检索增强中存在“接地错觉”,即正确答案未必基于图像证据。 基于 COCO 等数据集构建的 GIB-200K 基准显示,LLaVA 存在知识惯性(文本权重高于图像),而 InternVL3 偏好图像;干净输入准确率虽达 92.5%-94.2%,但在恶劣条件下骤降至 41.3%-59.9%。
研究揭示在14个开源大语言模型中,改变道德判断结果的注意力头属于通用规范评估电路,而非特定于道德内容的道德特征。该电路在所有测试的规范判断类型中均发挥同等作用。
ACM Multimedia 2026 发布 EgoLink 挑战,评测模型在第一人称感知、社会推理及交互行动中的能力。 该基准包含两个赛道,最佳系统 Track 1 准确率达 0.9263,Track 2 联合成功率为 0.844。 结果凸显过程验证与证据推理对可靠第一人称多模态智能的重要性。
该研究提出将 Token Commitment 作为独立控制面,通过反事实目标感知承诺与校准自适应预算机制引导扩散生成。在 LLaDA 家族及 Dream-7B 模型上,两种机制实现了目标质量的单调权衡,且无需额外方向即可应用于对话摘要与图像描述任务。
多模态 LLM 生成的文本解释能显著提升用户对 XAI 视觉化的感知理解与信任度。 预注册实验显示,在 7 个决策场景中加入 LLM 解释后,感知理解和信任度分别提升 0.35 和 0.26 分(五点量表)。 这种增益在 XAI 曝光较少的用户中最为明显,且通过感知理解间接提升了信任度。
PeriaTrace 是一款整合牙位级诊断、视觉定位报告生成及患者友好解释的三阶段框架。在内部评估中,该框架宏观 Dice 系数达 85.35%,联合牙位定位及 FDI 识别 F1 分数为 94.37%。外部评估显示资深牙髓病医生认为 91.16% 和 84.52% 的报告适合保留或修订,生成耗时平均 4.41 秒,比手动起草快数十倍。
FLEX 提出一种基于 Fisher LDA 的全局代理模型,为多标签分类器生成带符号的特征归因列表,在评估基准中展现出高保真度。 在多数数据集上,跨标签池化协方差方法优于逐标签替代方案,其保真度-复杂度 Pareto 曲线呈单调递增,为从业者提供可预测的解释路径。
PhysScope 推理时视觉架构支持自校正物理作用域错配,无需更新模型权重。 它显式约束状态与物理作用域,检查修正并维护作用域感知工作记忆。 在 PhysAlign 上六款 VLM 均优于直接求解,Gemini-3.8-flash 超 Canvas-CoT 9.34 个百分点。
多模态强化学习中结果奖励分配在完整生成轨迹上,而视觉证据在响应中位置稀疏且不均匀,限制了token级优化。 Gaze-RL 提出一种表征驱动的策略优化方法,通过计算内部跨模态几何结构和局部预测不确定性得到“潜在奖励落地场”,将轨迹级优势重新分配到视觉锚定且承担决策的关键位置,保持均值为一、保留每次 rollout 总信用并仅改变逐位置分配。
该研究提出统一扩展定律,揭示视觉-语言模型(VLM)中早期融合与晚期融合在固定数据预算下的性能权衡,表明模型规模扩大时早期融合优势更显著。 定律通过分离基础学习轨迹与模态竞争驱动的分布偏移来建模验证损失,实现了对混合比例、训练步长和模型规模下损失的准确预测。
在检索增强视觉-语言-动作模型中,基于闭环效用选择演示的池在760集配对回合中成功率达66.4%,视觉相似度选择仅达55.7%。 效用比相似度高出10.8个百分点,且在19个任务中的18个未平局任务上表现更优;相似度选择与随机选择无显著差异(+0.1个百分点)。 通过效用筛选的5演示池比预置20演示池高7.0个百分点,效用排序检索在完整池内高4.5个百分点。
提出智能体 Retriever-Perceiver-Reasoner 框架优化多模态科学文档推理,基于 7B/8B 模型在四个基准上平均得分 69.9/75.0,超越最强基线 4.0/9.1 分。 通过诊断引导共进化及 RPF/LEF 反馈机制实现检索与潜在指导的针对性优化。
物理感知课程引导 PCGRL 框架解决复杂平台游戏长序列生成中的探索瓶颈与扩展限制,显著提升结构多样性并维持高物理可玩性。 引入膨胀体积包络机制将连续运动可行性融入 MDP 离散状态空间,结合中间状态转移反馈和多阶段正向扩展课程学习实现长时程稳定信用分配。
提出EDA框架,通过观察、验证和评估三个阶段实现基于证据的多模态抑郁症分析,解决长录音摘要中单一观测来源及决策相关性难以审查的问题。 在D-Vlog和LMVD数据集上,基于7B冻结骨干的EDA支持使F1分数在D-Vlog Leave-Query-Out和LMVD上分别比直接预测提高7.61和9.88个百分点。
MOSAIC 是一个多模态流匹配 Transformer,支持分子 3D 结构与紫外、红外及拉曼光谱间的任意生成。 在 QM9S 数据集上,其分子图恢复率达 88.8%,比最强光谱生成结构基线高 23.2%。 该模型支持利用生成光谱匹配实验参考值来识别分子。
研究者提出 RiDEx 方法,通过在去噪速度场的奖励相关子空间集中局部探索,解决高维潜空间中各向同性随机扰动效率低下的问题。 该方法利用条件残差或可微奖励梯度确定子空间,并以等量反向扰动测量终端奖励响应;所有生成图像均贡献于全局 DiffusionNFT 学习。
DARWIN 是一款海洋地理空间基础模型,在预测 2022 年 氯-a 浓度时,每月相对误差均低于无编码器基线及随机初始化模型。 模型采用缺失感知编码与傅里叶位置嵌入,基于 26 年 Copernicus 再分析及 GEBCO 水深数据预训练。 在仅使用 10% 监督数据时,其表现已超越使用 100% 数据训练的随机初始化模型。
研究人员提出首个基于 AI 的观测系统模拟实验框架,用于评估 AI 气象模型对物理一致性的复现能力。 实验涵盖 FourCastNet V2、GraphCast、Aurora 和 Prithvi WxC 四个模型,在 60 天预报周期中植入 ERA5 温度场以推断大气状态。 不同架构模型对观测响应的表现各异,基础模型产生最强影响,而 GraphCast 在特定层级配置下出现可修正的数值不稳定现象。
PACD 提出一种无需训练的全模态解码框架,通过溯源感知共识机制缓解跨模态幻觉。 该方法包含相关性引导仲裁与基于排名的共识恢复双路径,利用层内模态证据评估一致性。 在 CMM、AVHBench 等基准上相比标准解码最高提升 27.6%,通用音视频推理平均提升 7.7%。
研究人员推出 GPU 原生 PyTorch 库 tmol,实现 RosettaGenFF 力场,支持高效批处理可微评分。 该工具在批处理模式下吞吐量提升高达 362 倍,并可用于生成式蛋白质设计作为奖励函数。 在蛋白质设计中应用 tmol 可显著增加界面处的氢键和水桥数量。
VisHead-Spec 提出头路由视觉注意力机制,解决多模态推测解码在高并发下加速比下降问题。 该方法在 Qwen3-VL-8B 模型中,让推测解码器 40 个 KV 头中的 8 个读取图像特征,其余仅关注文本。 在 batch size 64 时,其吞吐量比自回归解码提升 16.0%,显著优于 DSpark 的 9.5%。
基于墨西哥城逾 180 万条犯罪记录,提出自监督城市表示学习框架及 NPD 指标,用于检测异常报告模式。 该方法在 1058 个 H3 区域中实现 0.4052 的平均 Silhouette 分数,显著优于 Hex2Vec 的 0.2863。 NPD 排名在邻域尺寸变化中保持高稳定性(Spearman 0.9720-0.9951),可作为识别需进一步调查区域的内部审计机制。
基于多模态 LLM 的模块化系统实现扫描评估表单自动化提取,认知评估准确率 88% 至 97.5%,Vanderbilt 评估达 97.5%。 双模型校验引入人工监督机制,仅审核争议页面,将手动工作量减少 63.8%。 系统处理速度提升 10-20 倍,成本降低 12 倍以上,显著优化临床数据管理流程。
提出基于流匹配的 FACE 框架,用于解决毫米波 MIMO 系统的信道估计问题。 利用角度域稀疏性作为生成先验,在更少导频观测下实现高精度估计。 相比扩散模型,FACE 需要更少的采样步数,降低推理时间和计算成本。
AdaFlowLite 通过机会性推理和分层模态亲和度矩阵,实现了异步移动端多模态数据的实时非阻塞推理,支持多种模态和下游任务而无需重新训练。 该方法采用多模态轻量级 Swin Transformer(MMLST),将推理延迟最高降低 80.4%,准确率最高提升 62.1%,能耗接近降低 50%,并可用于增强 LLM 处理异步数据的预处理性能。
LoCaR 提出一种免训练的局部文本到图像检索框架,利用冻结的视觉语言模型和 SAM2 生成独立提案以增强局部表示。 该方法引入 LOCFG 基准测试,结果显示优化区域表示是性能提升的主要来源。
提出FDIR框架,在LIVE1和DIV2K数据集上,其PSNR超过最强感知基线1.3至2.1dB。 采用两阶段设计,利用LoRA微调潜在流模型生成结构先验,并预测像素残差以增强细节。 作为唯一方法,FDIR在保真度、人类感知及机器偏好三项指标中均保持前二平均排名。
论文提出 LatentUM 模型,在共享语义潜空间表示所有模态,消除像素空间中介,实现灵活的交错跨模态推理与生成。 该模型在 Visual Spatial Planning benchmark 上取得 SOTA 性能,并通过自反思提升视觉生成、预测未来视觉状态,展示了世界建模能力。 代码和模型已在官方链接公开,该工作入选 NeurIPS 2026 Oral。
提出结合前景与背景证据指导局部监督的CB-LNL方法,旨在应对噪声标签下的实例分割挑战。 该方法基于COCO和LVIS标注审计,并引入覆盖人类标注及SAM2弱提示掩码的基准测试。 实验显示,相较于直接教师掩码替换,CB-LNL在程序化轮廓噪声训练上性能更优且有害编辑更少。
基于 Qwen3.5-9B 的 Pac-Man 空间智能体通过课程学习将文本迷宫清空率从 0% 提升至 81.25%。 模型适配与 harness 改进使固定地图清空率从 26.6% 升至 96.9%,证实 harness 设计是决定智能体性能的关键因素。
DeCO 方法将细粒度数据集蒸馏转化为预算受限的判别性证据保留问题,并在 CUB-200-2011 等基准上超越现有基线。 该方法利用预训练 TransFG 教师进行注意力展开以识别信息斑块,通过空间多样化减少冗余,并将同类区域打包成紧凑的网格图像。 该研究被 NeurIPS 2026 高效深度学习基础研讨会接收。
MoRAE 提出自监督运动表征优于重建潜变量的文生动作生成方法。 预训练 Motion-JEPA 编码器预测关节轨迹,压缩特征供标准流 Transformer 生成。58M DiT 结合 CLIP 文本条件在 HumanML3D 和 KIT-ML 上取得 FID SOTA。