跳到正文
11月18日周三
  1. arXiv · AI28

    PINK 指标识别多行手写数学 OCR 中 VLMs 的过度修正

    研究揭示视觉语言模型(VLMs)在多行手写数学 OCR 中存在过度修正失败模式,提出 PINK 指标以 LLM 评分并惩罚此类错误。 对 FERMAT 数据集上 15 个 VLMs 评估显示排名反转,GPT-4o 因激进修正受重罚,Gemini 2.5 Flash 转录最忠实。 PINK 与人类判断一致性达 55.0%,优于 BLEU 的 39.5%,为教育评估提供更可靠框架。

  2. arXiv · AI28

    QUTCC:针对成像逆问题的分位数不确定性训练与保形校准

    QUTCC提出一种基于U-Net架构的分位数回归方法,实现非线性、空间自适应的保形校准,提供像素边际覆盖保证。 该方法在去噪、加速磁共振成像及定量相位显微成像任务中,于相同覆盖率下生成比先前保形方法更紧的不确定性区间,并预测条件概率密度。 高不确定性区域有助于定位模型预测中的幻觉现象。

  3. arXiv · AI32

    提出多粒度上下文增强多模态知识图谱以改进 GraphRAG

    研究提出 CEMMKG 框架,通过多粒度设计在局部和全局范围内为图像补充文本上下文,解决现有 MMKG 处理方法中图文语义鸿沟导致的 GraphRAG 性能瓶颈。 局部上下文不仅包含图像周围文本,还引入语义相关句子;全局上下文提供全文摘要。多数据集实验表明,该框架能有效利用上下文信息提升基于 MMKG 的 RAG 性能,且适用于不同的 RAG 方法。

  4. arXiv · AI41

    EMRD:面向关键安全场景下视觉语言模型就绪度的基准测试

    EMRD框架提出了一种评估视觉语言模型在关键安全场景下探索、映射、记忆和决策能力的基准测试方法。该框架将空间推理分解为四个阶段,并使用18个指标对11个开放和闭源VLM进行了评估。 实验在16栋建筑中进行,包括三种环境压力。结果显示,开放权重模型在95%的案例中未能访问所有房间,而闭源模型在添加外部记忆后表现更佳。 该基准测试为评估VLM在具身智能控制中的可靠性提供了重要工具。

  5. arXiv · AI29

    视觉语言模型场景状态安全漏洞:SceneSafetyBench与S3TA攻击研究

    研究揭示视觉语言模型存在“场景状态安全漏洞”,提出SceneSafetyBench基准与S3TA攻击方法。在8个VLM测试中,场景状态输入导致45.6%至72.3%的有害协助成功率。 S3TA在7个MM-SafetyBench类别上平均攻击成功率为71.2%,比最强基线高6.1个百分点。文本过滤和视觉审查防护有限,需加强场景推理层安全防护。

  6. arXiv · ML21

    多模态掩码扩散自编码器 ID-MAE 用于受损驾驶建模

    ID-MAE 提出多模态掩码扩散自编码器,在 DIVERT 数据集上将损伤检测的配对 AUC 从 0.590 提升至 0.706。 DIVERT 数据集包含 103 小时驾驶数据和 10 种损伤诱导,涵盖认知、视觉和情感状态,记录了眼动、车辆状态及场景视频。 该模型还增强了轨迹和眼动预测能力,代码和数据将在论文被接收后开放。

  7. arXiv · ML26

    Dej’a View:一种用于视觉任务的共享工作记忆模型

    研究提出结合动态活动与图像特征临时关联的工作记忆模型,单一模型通过显式提示灵活完成包括样本记忆在内的5项任务。 测试显示延迟对样本记忆影响较小,但干扰图像增加会提高误报率;随着问题数量增加,样本记忆加分类任务的正确率下降。模型在每种任务的40次简短试验中保持稳定表现。

  8. arXiv · AI23

    AgentWorld:用于自动驾驶的以智能体为中心的视觉-语言-动作世界模型

    研究提出以智能体为中心的 VLA 世界模型 AgentWorld,通过离散智能体 token 同时完成推理与轨迹规划,克服像素级生成的性能瓶颈。 该模型将每个 token 动态关联到周边智能体及其状态(语义、3D 几何、运动等),并经由显式几何 grounding、监督微调和面向智能体的强化学习进行训练。

  9. arXiv · ML23

    基于事件相机的动态唇部区域估计算法

    提出基于事件相机的动态唇部区域估计算法,利用双通道连续时间循环网络预测唇部密集热图。该模型在4个未见说话人上达到69.5%准确率,目标切换仅2.1次/秒,优于卷积基线。 在真实传感器上,仅用模拟事件训练的模型在唇部任务达58.0%准确率,目标切换次数不足CNN基线的一半。

  10. arXiv · AI26

    ForceBody: 首个包含力监督与扭矩不确定性的参数化人体动作数据集

    ForceBody 成为首个将真实力监督引入参数化人体表征的数据集,涵盖140名受试者的10,386个动作试验。 数据集包含SKEL动作模型、地面反作用力及970万帧逆动力学关节扭矩标签,并通过蒙特卡洛采样提供逐帧逐关节的扭矩不确定性注解。 使用逐样本不确定性加权微调Transformer可将关节扭矩估计的MAE降低5%,该成果已被NeurIPS 2026数据集赛道接收。

  11. arXiv · AI40

    视觉语言模型何时该放大?七家模型小物体细节测试分析

    在线视觉语言模型常因图像缩放或拒绝导致小物体细节丢失,测试显示默认设置下可读最小文本像素阈值显著增大。 将照片分九块可提升 Claude 和 Gemini 准确率 11.1 至 14.5 个百分点,GPT-6.1 Sol 从 50.7% 升至 83.7%。 Gemini 在细节缺失时自信错答率达 43% 至 48%,研究据此发布智能体放大决策规则。

  12. arXiv · ML26

    CBCT 联合 MRI 检测软组织病变:基于物理引导 3D 自监督学习框架

    利用 BertsWin 模型和 PhysLoss 目标函数,从常规 CBCT 中提取亚视觉软组织病理信号,检测关节滑膜积液(ROC AUC = 0.793)。 该框架在 212 例配对数据上验证,通过解剖学引导裁剪消除 81% 背景骨性变异,优于标准 L2 损失基线。 研究建立了将低对比度常规扫描转化为隐性软组织疾病机会性筛查工具的通用范式。

  13. arXiv · AI31

    FVScore: 规范驱动的神经符号视频生成评估框架

    FVScore 提出神经符号框架,通过编译视频命题和符号评估实现规范驱动的视频生成评估,显著提升与人类判断的一致性。 框架利用感知工具 grounding 命题,采用受线性时态逻辑启发的软时序算子评估置信度,并应用显著性感知校准保留感知显著违规。 现有评估器难以对齐人类判断且无法追踪时序违规,FVScore 在公开和复杂多事件基准测试中表现优于整体式和基于智能体的评估器。

  14. arXiv · AI30

    针对指令引导视频编辑的运动感知奖励模型

    针对视频编辑中“运动坍缩”问题,研究者提出一种结合RGB帧差流的运动感知奖励模型。 在VE-Bench上,该模型将对运动抑制候选项的选择率降至0%,与人类质量评分的Spearman相关系数达0.57,并能检测未见抑制变体。 研究支持在视频编辑奖励中显式建模运动,以平衡时序一致性与运动保真度。

  15. arXiv · AI25

    视觉语言模型 On-Policy Distillation 中视觉后门传播机制研究

    研究发现 On-Policy Distillation 在低投毒率下难触发视觉后门,但超过临界阈值后攻击成功率迅速接近 100%。传播依赖教师模型异常概率质量的持续积累,而非显式恶意响应,并提出了零显式触发注入的新触发器设计。这些结果揭示了 OPD 中被忽视的后门传播机制及潜在安全风险。

  16. arXiv · ML45

    研究扩散模型学习基本视觉技能泛化能力

    研究人员提出受控实验框架 Visual Generative Lab (VGL),用于评估扩散模型在尺寸、位置等7项基本视觉技能上的泛化表现。该框架通过生成合成数据,发现模型的外推能力有限,组合泛化效果主要取决于技能组合数量而非数据集大小,且各项技能通常独立失败。 VGL 采用基于规则的任务指标精确测量泛化能力,揭示了默认设计下尺寸与位置外推在训练范围附近迅速退化,计数准确率仅约50%。

  17. arXiv · AI35

    CueClash:前沿视觉语言模型在接近图像平面的 3D 关系判断中存在偏差

    研究提出 CueClash 数据集,揭示 Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 等前沿视觉语言模型在判断 3D 关系时依赖 2D 视觉线索。 低推理力度下,这些模型的“捷径差距”达 +18 至 +37 个百分点;提供地面坐标后可正确率达 99% 至 100%。 模型生成的场景地图多保留深度顺序但缩短深度,表明其 3D 空间理解仍存在局限。

  18. arXiv · AI21

    EgoHandWAM:探索第一人称视角世界行动建模中手部运动的作用

    EgoHandWAM模型预测3D手腕轨迹与未来视觉特征,在751,065个EgoDex窗口上训练,使用冻结的DINOv2编码器。 仅预测动作将使2秒手腕末端误差从60.26降至56.48mm,添加未来特征监督对轨迹精度影响甚微;利用记录的手部历史使平滑L1误差降低1.32%,随机打乱历史则会消除这一增益。

  19. arXiv · AI29

    模型是否使用其引用的内容?针对小型视频语言模型中基于依据的推理链的反事实测试

    该研究通过反事实干预测试了 2-3B 视频语言模型是否真正依赖其引用的区域。 结果显示,在 CLEVRER 数据集上引用间隙为 0.089,而在 NExT-QA 上仅为 0.003。 这表明仅检查引用位置不足以验证推理有效性,必须移除链条中明确命名的实体以检测答案依赖。