OPIS:视频世界模型多物体记忆输入基准
OPIS 是评估视频世界模型多物体记忆的输入基准,包含 500 个案例和 12,672 个物体实例。 评测器结合关联与可见性推理,在八个模型上得分介于 48.65 至 56.01。 结果显示维持特定物体实例比生成合理视觉元素更难。
OPIS 是评估视频世界模型多物体记忆的输入基准,包含 500 个案例和 12,672 个物体实例。 评测器结合关联与可见性推理,在八个模型上得分介于 48.65 至 56.01。 结果显示维持特定物体实例比生成合理视觉元素更难。
Yuvion VL发布了指令微调与推理导向的多模态大语言模型变体,专为内容与AI安全设计。 模型采用三阶段训练流程并引入Confuse-then-Contrast Fine-Tuning,构建了Yuvion VL RiskEval基准。 Yuvion VL-32B在安全性能上超越同级开源及最佳闭源商业模型,同时保持相当的通用能力。
summary_zh: NVIDIA Spectrum-X 以太网针对大规模分布式模型训练设计,采用硬件加速的多平面架构替代层级深度。其核心创新是在网卡和交换机中引入硬件加速负载均衡,以在微秒级响应高度动态的网络状况。
DRAPE 框架通过跨模态动态提示生成,在多模态持续指令微调中实现无任务标签的生成器选择与跨模态提示合成。 该方法利用空域梯度投影和基于 CLIP 的原型路由缓解遗忘,在 MCIT 基准上取得超越代表性基线的 SOTA 性能。 代码已开放获取,该工作被 NeurIPS 2026 接收。
针对视觉语言模型部署中算力与内存瓶颈,提出自底向上级联知识蒸馏框架,通过引入中间容量教师模型逐步缩小师生网络能力差距。 该框架基于 LLaVA 方法论构建模型,并在七个标准 VQA 基准上评估,展现出与近期紧凑视觉语言模型相竞争的推理性能,源码及训练模型已公开。
微调模型对子群表现的依赖由预训练模型潜在空间中子群的可分程度决定。 该假设经四个视觉与语言数据集实证验证,并通过正则化实验呈现因果证据。
多模态生成模型已从文本扩展至图像、音乐、视频、人类动作及 3D 对象。 该研究将六种文本条件生成模态与自监督学习、混合专家(Mixture of Experts)等四项技术相结合,并评估了其在保真度、组合性及鲁棒性方面的表现。 研究还分析了偏见、隐私泄漏及滥用等信任风险。
提出ER-EDF框架,基于Gross扩展过程模型,通过识别情绪、选择策略、实施回复三阶段生成共情回应。 框架模型无关,集成进现有LALM;构建语音共情对话数据集及共情感知评估指标。 在五组LALM与两个数据集上实验显示,自动与人工评估中ER-EDF均持续提升共情响应质量。
在四项 CAD 领域基准测试中,IndustryForge-27B 平均比其基座模型 Qwen3.5-VL-27B 提升 33.65 个百分点,并在全部四项测试中超越闭源模型 GPT-5.4。
PTD-PO 框架通过特权辅导蒸馏解决 RLVR 中可验证奖励稀疏导致的低效探索问题。 该框架构建结构化特权提示,结合空间注意力引导与中间推理步骤,在 2B 至 8B 参数的大视觉语言模型上持续超越 RLVR 和蒸馏基线。 PTD-PO 有效缓解了熵坍缩,提升了复杂多模态推理性能。 ```
研究提出符合性社会选择层,通过线性意见池聚合与分拆符合预测,实现固定轮次边际覆盖率≥1-α的自主行动或人工升级决策。 在α=0.05下,81.9%的错误共识案例被非单例集标记;提前达成单例共识的准确率在MMLU-Pro上达90.0%-96.8%。
GenoMAS 是集成结构化工作流与自主适应性的 LLM 多智能体系统,用于基因组数据分析。 在 GenoTEX 基准中,其数据预处理 CSC 达 89.13%,识别关联基因 F1 为 60.48%,分别超越先前工作 10.61% 和 16.85%。 该系统在 ScienceAgentBench 和 DiscoveryBench 上优于基线,已发表于 EMNLP 2026 Findings。
该模型通过交叉注意力层连接预训练视频模型与独立动作模型,支持任意骨骼 Rig 的动作生成。动作模型在 20 万训练对上进行优化,能定位关节以恢复相机并生成忠实于文本的 3D 运动。该架构支持从视频生成动作、反向生成视频及关键帧控制,优于视频优先流水线。
Industrial ReMEmbR 扩展 NVIDIA ReMEmbR 至机器人集群,通过按需生成场景描述降低服务端计算成本。 系统利用 Jetson 编码视频,结合 Cosmos-Embed1、Cosmos3-Edge 及 Wan2.2 VAE 生成嵌入与视觉 token。 设计消除写入时字幕生成,450 次测试中缓存 token 解码复现了未分割模型的输出。
论文提出包含1500个样本的基准MindView,测试从部分多视角观测生成空间一致视图的能力。评估11个生成器发现改进空间巨大,微调BAGEL使整体得分提升24.3分,且未训练的三项空间理解基准得分亦提高。 该方法还提出免训练的空间证据选择器MindCue,在扩展上下文设置中逆转了生成器得分下降的趋势。MindView为生成式多视角空间智能提供了具体的测试床。
REACT框架通过VLM引导的接触建模和生成式伴侣状态建模,解决双足机器人-人类交互中的严重部分可观测性问题。该方法在模拟环境和真实Unitree G1机器人上完成五种富接触交互测试,其中生成式伴侣状态建模在四种交互中显著提升了接触召回率,尤其在重度遮挡情况下表现突出,且完全依赖板载传感实现部署。
该研究提出 Code2Video-Compass 基准,包含 2,104 个任务,覆盖 T2V、I2V 及 V2V 设置,用于评估代码生成视频。 其双层级评估框架结合 12 项客观指标与 5 项主观指标,测试了来自 9 个系列的 15 个 MLLM。 结果显示,随着构建、动态动画及状态依赖复杂度增加,领先模型在生成高质量视频时表现普遍下降。
Brain2Vec 基于 74,425 例 T1 加权 MRI 扫描预训练,可作为微调骨干或独立特征提取器。 其冻结嵌入在 5 项下游分类任务中的 4 项表现优于解剖体积特征,且推理具备可解释性。 代码与模型已开源,支持本地安装或通过 NiChart 云平台直接调用特征。
针对视觉语言模型工具使用受限及技能优化易致性能退化问题,提出 VisualEvolve 自进化框架。 该框架通过“选择-执行-进化-评估”循环及渐进式证据访问机制,在 4 个 VLM 骨干模型和 6 个评测集上,于 24 种设定中的 23 种实现性能提升。
RayCo4D 通过光线条件连续运动模型实现单目 4D 动态重建,将视觉测量与潜在 3D 运动状态显式分离。 每条轨迹关联受相机光线约束的参考时间 3D 查询,通过局部多对多关联约束共享潜在运动节点,节点维持 SE(3) 位姿和体框速度,白色噪声-加速度过程先验支持连续时间插值。 实验显示其在快速运动和不完整轨迹下改善结构与时间一致性,支持连续时间渲染。
GProtoT 通过门控知识引导原型迁移,在医学视觉语言模型零样本适配中提升缺失类别召回率 5.23 点。 基于 SS-Text+ 构建,利用 VLM 相似性与临床本体距离,无需梯度、验证数据或额外模型推理。 将负向迁移频率从 46-48% 降至 2%,为不完整临床监督下的可问责适配提供低算力路径。
基于 16,575 条英语推文,研究通过 stability delta 指标证明,表情符号在紧密的主题语境中表现出更极化的人群情感评分。 核心证据为 Spearman $\rho = +0.361$(Holm 校正后 p=0.015),该结果通过置换检验、BCa 自助法和留一法验证,且在控制频率后依然成立。 表明主题连贯性与情感离散度是表情符号语义的两个独立维度,单一情感分数无法完整表征其意义。
GALA 是一个具有显式点云感知能力的几何感知语言模型,旨在实现可控物体摆放。 该模型通过自回归方式预测目标物体的 6D 位姿,采用两阶段训练策略,并在基准测试中显著优于缺乏显式几何推理的基线模型。 该工作已被 SIGGRAPH Asia 2026 会议论文录用。
研究团队构建包含 12,000 个 5 秒剪辑的 OSVD 数据集,并提出 PI-MLLM 模型以分析奇怪治愈系视频(OSVs)。 该模型集成模态特定动态对齐(MSDA)与联盟制视听归因(CAVA),利用 Shapley 归因识别主导模态及视听证据的协同或冲突关系。 实验表明 PI-MLLM 提升了观众侧情绪预测及基于感官解释的质量,验证了物理感官线索对视频情绪分析的价值。
BAIT 基准引入九类认知偏见触发器,基于 50 篇英语新闻及标注数据评测 6 个前沿 LLM。 模型在识别文章包含的触发器上接近人类一致性,但在定位具体片段时不足人类一致性的一半。 结果显示 LLM 更多依赖表面线索而非操纵机制,相关资源及评估管线已开源。
研究提出 SMART 框架,通过语义分段映射和上下文评估标准解决 WER 无法区分错误语义后果的问题。该框架可生成明确的后果标签以支持 SIER 量化评估。 SMART 在多数投票人工标注下达到 0.843 F1,优于直接 LLM 判断的 0.745,且对评估模型选择不敏感。
I2R-Pose 框架结合运动感知初始化与观测引导精化,显著提升毫米波雷达 3D 人体姿态估计精度。 在 MVDoppler-Pose 数据集上,该方法将平均单关节位置误差(MPJPE)降低 39.50%;在自建 RaMoS-Pose 数据集上降低 15.13%。 框架支持 TD/TR 图与雷达点云的单模态及融合输入,并构建了同步标注数据集以验证效果。
World2HOSI 提出一种多专家编排框架,利用 3D Gaussian Splatting 场景和自然语言指令生成连续的人-物-场景交互数据。 该框架通过编排现有专家模型,结合有界残差优化和接触驱动物理模拟,实现了超越单一模型能力的任务完成率与交互质量。
研究团队提出轻量级框架 AnomalyJev,通过从图像异常检测解释中提取声明并与真值验证,评估多模态大语言模型生成的文本解释,无需生成 token。 该框架利用基于指针的头部处理上下文化表示,构建了包含 640 个人工标注解释及超过 1600 个专家评级的测试集,显著提升了与人类标注者的一致性。
研究提出结合渐进边界子集选择与级联一致性学习的无监督视觉语言模型适配框架。该框架利用置信度过滤和教师预测,仅更新视觉编码器归一化参数与文本原型。在CLIP和SigLIP主干网络上,该方法相比零样本基线取得一致提升,且性能优于近期无监督适配方法。
CVG-SGM 提出一种基于记忆的目标-载体绑定恢复机制,用于解决物体在透明载体中消失后重现的身份识别问题。该方法采用几何加权跨节点交互传递证据,共享 GRU 单元在运输过程中维持状态,通过双时间读出恢复历史身份。在受控单身份设置中,重链接准确率达 1.000,优于无记忆基线;在真实 RGB-D/SAM2 特征集上成功重链接 36/36 留出检测,表现优于最强固定载体身份控制组。
冻结 Llama-3.3-70B 使用 900 词进化引导块,在留出数据上 GM MASE 达 0.776,优于 TSFM 的 0.898。 多模态基准包含每周搜索指数、每日货币、每日商品及新闻。闭环改进高估 2-3 倍,仅错误目标会抑制文本模态。 持续提示进化是重训练的无训练替代方案,更新成本为美元而非 GPU 天。
研究证实视觉语言模型存在逆规模现象,即大模型在特定子任务上表现不如小模型。 评估涵盖4个模型族的19个模型,在8个基准的29,386道题中,发现375种组合出现逆规模,主要受多图像空间推理及大学级STEM知识影响。 这表明模型选择需任务感知,而非单纯依赖增大规模以提升多模态能力。
研究提出推理时“路由与引导”框架,解决视觉语言模型(VLM)地理位置披露隐私问题。 方法基于生成前隐藏状态构建序数粒度路由器,在解码阶段实施隐藏状态干预。 在四个 VLM 骨干上改善披露对齐,平衡过度与不足披露,通用基准影响轻微。
研究评估10个广泛部署的大语言模型在79种语言下的翻译绕过威胁,发现即使英文回复安全,翻译后仍会出现不安全内容。 条件于英文安全回复时,平均绕过率范围为21.9%至44.4%,风险集中在特定语系且跨模型共享相似模式。 该结果发表于NeurIPS 2026 Workshop,指出基于英文的安全对齐无法可靠迁移至低资源语言场景。
提出音频视觉类别增量学习框架,利用冻结多模态基础模型(MFM)的密集表示,通过注意力上下文引导模块以音频表征指导视觉表征,实现有效类别识别。 采用特征级与logit级知识蒸馏缓解灾难性遗忘,维持跨任务稳定性。实验表明该方案在多个音频视觉CIL基准上持续优于当前最先进方法。代码已开源。 该工作已被WACV 2027接收。
研究表明,预训练语言模型可作为监督视觉训练的轻量级辅助,无需成对数据即可提升泛化能力。该方法通过显式和隐式语言引导机制在六个基准测试中有效改善了模型对分布外数据、捷径学习及对抗扰动的鲁棒性,且仅增加极少量参数和训练开销。
GPT-4.1与Claude 4.5 Sonnet在多模态支票提取中存在CARLAR幻觉风险,即模型对金额字段标注差异忽略并返回相同数值。GPT-4.1在涂抹场景下CARLAR率达73.7%,预期校准误差高达0.93。 采用无微调的压缩图像少样本干预后,Claude联合提取准确率提升11.5个百分点。该干预对字段预测一致性影响取决于模型类型,验证需考虑视觉上下文依赖。
研究验证了英语 LLM 管线跨语言可重用性。Gemini 3.5 Flash 跨语言支票提取准确率达 95.2%-97.6%,FinanceBench 语言间平均分差仅 5.8pp。
研究分析了视觉语言模型利用内部信号检测幻觉的鲁棒性。发现简单基线中 token 位置启发式表现竞争性强,但导致方法视觉接地能力减弱且对早期幻觉鲁棒性降低。 强检测性能常由语言类幻觉驱动。集成不同检测方法时,加入较弱方法仍能提供性能提升,表明现有方法存在局限性。
最多提供 50 页,更早的内容请使用搜索或主题页。