跳到正文
10月21日周三
  1. arXiv · AI26

    LLaVA-CKD:面向视觉语言模型的自底向上级联知识蒸馏框架

    针对视觉语言模型部署中算力与内存瓶颈,提出自底向上级联知识蒸馏框架,通过引入中间容量教师模型逐步缩小师生网络能力差距。 该框架基于 LLaVA 方法论构建模型,并在七个标准 VQA 基准上评估,展现出与近期紧凑视觉语言模型相竞争的推理性能,源码及训练模型已公开。

  2. arXiv · AI42

    多模态生成模型中的生成类别与技术综述

    多模态生成模型已从文本扩展至图像、音乐、视频、人类动作及 3D 对象。 该研究将六种文本条件生成模态与自监督学习、混合专家(Mixture of Experts)等四项技术相结合,并评估了其在保真度、组合性及鲁棒性方面的表现。 研究还分析了偏见、隐私泄漏及滥用等信任风险。

  3. arXiv · AI41

    PTD-PO:多模态策略优化的特权辅导蒸馏框架

    PTD-PO 框架通过特权辅导蒸馏解决 RLVR 中可验证奖励稀疏导致的低效探索问题。 该框架构建结构化特权提示,结合空间注意力引导与中间推理步骤,在 2B 至 8B 参数的大视觉语言模型上持续超越 RLVR 和蒸馏基线。 PTD-PO 有效缓解了熵坍缩,提升了复杂多模态推理性能。 ```

  4. arXiv · AI27

    Industrial ReMEmbR:扩展 NVIDIA ReMEmbR 至机器人集群的时空共享记忆系统

    Industrial ReMEmbR 扩展 NVIDIA ReMEmbR 至机器人集群,通过按需生成场景描述降低服务端计算成本。 系统利用 Jetson 编码视频,结合 Cosmos-Embed1、Cosmos3-Edge 及 Wan2.2 VAE 生成嵌入与视觉 token。 设计消除写入时字幕生成,450 次测试中缓存 token 解码复现了未分割模型的输出。

  5. arXiv · AI23

    MindView: 生成式多视角空间智能基准测试

    论文提出包含1500个样本的基准MindView,测试从部分多视角观测生成空间一致视图的能力。评估11个生成器发现改进空间巨大,微调BAGEL使整体得分提升24.3分,且未训练的三项空间理解基准得分亦提高。 该方法还提出免训练的空间证据选择器MindCue,在扩展上下文设置中逆转了生成器得分下降的趋势。MindView为生成式多视角空间智能提供了具体的测试床。

  6. arXiv · AI22

    VLM-Guided Contact Retargeting and Generative Partner Modeling for Humanoid-Human Interaction

    REACT框架通过VLM引导的接触建模和生成式伴侣状态建模,解决双足机器人-人类交互中的严重部分可观测性问题。该方法在模拟环境和真实Unitree G1机器人上完成五种富接触交互测试,其中生成式伴侣状态建模在四种交互中显著提升了接触召回率,尤其在重度遮挡情况下表现突出,且完全依赖板载传感实现部署。

  7. arXiv · AI25

    Code2Video-Compass:面向通用代码视频生成的基准评测

    该研究提出 Code2Video-Compass 基准,包含 2,104 个任务,覆盖 T2V、I2V 及 V2V 设置,用于评估代码生成视频。 其双层级评估框架结合 12 项客观指标与 5 项主观指标,测试了来自 9 个系列的 15 个 MLLM。 结果显示,随着构建、动态动画及状态依赖复杂度增加,领先模型在生成高质量视频时表现普遍下降。

  8. arXiv · AI22

    RayCo4D:基于光线条件的单目 4D 动态重建连续运动模型

    RayCo4D 通过光线条件连续运动模型实现单目 4D 动态重建,将视觉测量与潜在 3D 运动状态显式分离。 每条轨迹关联受相机光线约束的参考时间 3D 查询,通过局部多对多关联约束共享潜在运动节点,节点维持 SE(3) 位姿和体框速度,白色噪声-加速度过程先验支持连续时间插值。 实验显示其在快速运动和不完整轨迹下改善结构与时间一致性,支持连续时间渲染。

  9. arXiv · AI21

    超越单一情感分数:Twitter 表情符号的语义维度研究

    基于 16,575 条英语推文,研究通过 stability delta 指标证明,表情符号在紧密的主题语境中表现出更极化的人群情感评分。 核心证据为 Spearman $\rho = +0.361$(Holm 校正后 p=0.015),该结果通过置换检验、BCa 自助法和留一法验证,且在控制频率后依然成立。 表明主题连贯性与情感离散度是表情符号语义的两个独立维度,单一情感分数无法完整表征其意义。

  10. arXiv · AI23

    PI-MLLM: 基于心理物理学的多模态大语言模型用于奇怪治愈系视频情绪分析

    研究团队构建包含 12,000 个 5 秒剪辑的 OSVD 数据集,并提出 PI-MLLM 模型以分析奇怪治愈系视频(OSVs)。 该模型集成模态特定动态对齐(MSDA)与联盟制视听归因(CAVA),利用 Shapley 归因识别主导模态及视听证据的协同或冲突关系。 实验表明 PI-MLLM 提升了观众侧情绪预测及基于感官解释的质量,验证了物理感官线索对视频情绪分析的价值。

  11. arXiv · AI27

    I2R-Pose 雷达 3D 人体姿态估计框架:基于运动感知初始化与观测引导精化

    I2R-Pose 框架结合运动感知初始化与观测引导精化,显著提升毫米波雷达 3D 人体姿态估计精度。 在 MVDoppler-Pose 数据集上,该方法将平均单关节位置误差(MPJPE)降低 39.50%;在自建 RaMoS-Pose 数据集上降低 15.13%。 框架支持 TD/TR 图与雷达点云的单模态及融合输入,并构建了同步标注数据集以验证效果。

  12. arXiv · AI20

    AnomalyJev:通过声明级验证评估图像异常检测解释

    研究团队提出轻量级框架 AnomalyJev,通过从图像异常检测解释中提取声明并与真值验证,评估多模态大语言模型生成的文本解释,无需生成 token。 该框架利用基于指针的头部处理上下文化表示,构建了包含 640 个人工标注解释及超过 1600 个专家评级的测试集,显著提升了与人类标注者的一致性。

  13. arXiv · AI23

    CVG-SGM 实现 4D 场景图中跨可见性间隙的身份持久化

    CVG-SGM 提出一种基于记忆的目标-载体绑定恢复机制,用于解决物体在透明载体中消失后重现的身份识别问题。该方法采用几何加权跨节点交互传递证据,共享 GRU 单元在运输过程中维持状态,通过双时间读出恢复历史身份。在受控单身份设置中,重链接准确率达 1.000,优于无记忆基线;在真实 RGB-D/SAM2 特征集上成功重链接 36/36 留出检测,表现优于最强固定载体身份控制组。

  14. arXiv · AI30

    视觉语言模型在子任务层面表现逆规模效应

    研究证实视觉语言模型存在逆规模现象,即大模型在特定子任务上表现不如小模型。 评估涵盖4个模型族的19个模型,在8个基准的29,386道题中,发现375种组合出现逆规模,主要受多图像空间推理及大学级STEM知识影响。 这表明模型选择需任务感知,而非单纯依赖增大规模以提升多模态能力。

  15. arXiv · AI36

    低资源语言翻译中的大语言模型安全绕过盲区

    研究评估10个广泛部署的大语言模型在79种语言下的翻译绕过威胁,发现即使英文回复安全,翻译后仍会出现不安全内容。 条件于英文安全回复时,平均绕过率范围为21.9%至44.4%,风险集中在特定语系且跨模型共享相似模式。 该结果发表于NeurIPS 2026 Workshop,指出基于英文的安全对齐无法可靠迁移至低资源语言场景。

  16. arXiv · AI32

    音频视觉增量学习中冻结多模态基础模型泛化框架

    提出音频视觉类别增量学习框架,利用冻结多模态基础模型(MFM)的密集表示,通过注意力上下文引导模块以音频表征指导视觉表征,实现有效类别识别。 采用特征级与logit级知识蒸馏缓解灾难性遗忘,维持跨任务稳定性。实验表明该方案在多个音频视觉CIL基准上持续优于当前最先进方法。代码已开源。 该工作已被WACV 2027接收。

  17. arXiv · AI31

    GPT-4.1与Claude 4.5 Sonnet多模态支票提取中的CARLAR幻觉风险及压缩图像对策

    GPT-4.1与Claude 4.5 Sonnet在多模态支票提取中存在CARLAR幻觉风险,即模型对金额字段标注差异忽略并返回相同数值。GPT-4.1在涂抹场景下CARLAR率达73.7%,预期校准误差高达0.93。 采用无微调的压缩图像少样本干预后,Claude联合提取准确率提升11.5个百分点。该干预对字段预测一致性影响取决于模型类型,验证需考虑视觉上下文依赖。

  18. arXiv · AI20

    视觉语言模型幻觉检测中内部信号的鲁棒性分析

    研究分析了视觉语言模型利用内部信号检测幻觉的鲁棒性。发现简单基线中 token 位置启发式表现竞争性强,但导致方法视觉接地能力减弱且对早期幻觉鲁棒性降低。 强检测性能常由语言类幻觉驱动。集成不同检测方法时,加入较弱方法仍能提供性能提升,表明现有方法存在局限性。

最多提供 50 页,更早的内容请使用搜索或主题页。