跳到正文
10月28日周三
  1. arXiv · NLP70

    EmbeddingGemma 2 发布:统一高效的开源多模态嵌入模型

    EmbeddingGemma 2 是一个开源的多模态嵌入模型,能在统一空间中表示文本、图像、音频和视频。该模型在多种嵌入基准测试中优于专业模型及体积大两到十二倍的模型,支持选择性加载模态编码器、调整视觉 token 预算及量化权重,模型已在 HuggingFace 和 LiteRT 上发布。

    推荐理由:新模型在基准测试中展现出跨模态优势,其可裁剪架构为资源受限场景的部署提供了参考。

  2. arXiv · NLP20

    基于MLLM层级解耦一致性与冲突的多模态假新闻检测方法MLCCD

    针对多模态假新闻检测中稀疏冲突捕捉不足的问题,提出多级一致性与冲突解耦(MLCCD)方法。 该方法利用多模态大语言模型(MLLM)不同层级的表征,通过筛选相关token并解耦各层新增知识,分别聚合一致性与冲突证据。 在三个基准测试上,MLCCD的表现优于现有方法。

  3. arXiv · NLP26

    跨模态导向向量在图像与文本生成中均存在

    研究揭示统一多模态模型中跨模态导向向量的存在及其零样本迁移能力。 导向向量可在文本与图像模态间双向零样本迁移以控制情感、物体大小等概念,甚至对模态特有概念产生一致可解释效应。 这些发现阐明了视觉与语言在模型内部的交互机制,为模态无关的行为控制方法提供方向。

  4. arXiv · NLP21

    BrailleBench 基准测试显示 VLM 在盲文识别上表现不佳,合成数据训练可显著提升准确率

    BrailleBench 基准包含 259 张真实世界一级和二级盲文图像,通用视觉语言模型直接转写表现差,而工具辅助系统表现更好。 基于 2B VLM 在合成盲文数据上训练后,在一级盲文上达到 87% 精确匹配,在二级盲文上达到 61% 精确匹配,优于独立运行的 VLM。 结果表明合成数据监督可改进真实场景下的盲文转写,但在合成验证集上高达 96% 准确率并不保证在真实照片上表现良好。

  5. arXiv · ML30

    HiLo-RD:用于掩码扩散语言模型的跨预算自蒸馏

    提出 HiLo-RD 以改进受限生成预算下的掩码扩散语言模型,通过跨预算自蒸馏解决预算引发的过早承诺问题。 方法将大窗口教师状态与裁剪的小窗口视图配对,匹配已提交位置的隐藏表示,无需外部教师即可指导 token 预测与提交顺序。 在 GSM8K 上准确率提升 9.4 个百分点,平均可读长度缩短约 25%,且在无代码领域训练情况下优势延伸至代码生成。

  6. arXiv · ML33

    TALOR:用于开集测试时自适应的即插即用纠偏模块

    TALOR 是一种轻量级、无反向传播的纠偏模块,用于开集测试时自适应,以源线性头为几何锚点。 该模块将特征分解为主坐标和尾坐标,利用加权岭回归在主要子空间中估计软路由仿射校正,并减去漂移估计。 在 ImageNet-C 基准上,TALOR 比 UniEnt 高出 2.2% H-score,运行速度快 2.5 倍,且仅使用其 12% 的 GPU 内存。

  7. arXiv · NLP35

    多语言情境化评估的现状与命运:NLP 领域的基准审计

    研究者审计了51个涵盖219种语言的多语言基准,指出覆盖广但单薄,36%的语言仅被单一基准评估,且高资源语言评测任务数远超低资源语言。 56%的数据集通过翻译英语构建,导致文化代表性不足,且存在基准污染问题。 作者建议构建原生、文化扎根且抗污染的评价框架,以更好地服务语言社区。

  8. arXiv · NLP32

    DocXEval:面向多模态文档理解的系统化可解释性评估框架

    DocXEval 是一个首个针对多模态文档理解场景的可解释性评估框架。该框架系统评估了 13 种 XAI 方法在 3 类任务、8 个数据集及 4 个模型上的表现。 研究涵盖 17 项评估指标,发现 Occlusion 方法在忠实度和可解释性上表现最优。 该工作为多模态文档理解领域的可解释性研究提供了基准与实用指南,代码已公开。

  9. arXiv · AI33

    MUMINS:元数据条件不确定性感知的医学图像下一状态合成框架

    研究团队提出 MUMINS 扩散框架,通过单次反向扩散过程联合生成基线扫描与随访残差,并同步预测空间不确定性图。 该方法在去噪步骤动态注入基线软锚点以保持解剖细节,利用负对数似然头显式标记易错区域。 无需器官特定启发式,MUMINS 在肺 CT 和脑 MRI 数据集上的表现匹配或优于专用最先进方法。

  10. arXiv · AI28

    TokenMinds:面向大型推荐系统的预训练用户令牌与嵌入

    工业级系统TokenMinds扩展PLUM框架,通过生成式序列建模将SID用于用户表示,其双输出设计结合密集嵌入与离散SID用户令牌,保留多项兴趣。 该系统统一长短视频语义,减少上游计算50%与31%,并直接在观看历史中插入文本查询以捕捉意图。 在YouTube线上A/B测试中,SID令牌单独有效,与密集嵌入叠加增益显著,整体表现优于上一代非LLM用户模型。

  11. arXiv · AI24

    ST-AudioLM:面向动态声源的空间时间音频语言建模

    ST-AudioLM 发布针对动态声源的空间时间音频 QA 数据集与模型,在平衡语义保持与定位能力上优于静态及定位基准。 该模型联合学习事件语义与时间解析声源轨迹,并展示在真实录音中的零样本迁移能力。 此项工作入选 EMNLP 2026 主会议,旨在填补音频语言模型在时空推理上的缺口。

  12. arXiv · AI27

    视频世界模型潜空间中的动作相关性:预测优于重建

    研究发现视频世界模型潜空间中的动作相关性主要由时序视频预训练驱动,而非像素重建保真度。 强像素解码质量模型的动作可恢复性可能接近零,而视频预训练的自监督编码器在视觉保真度与动作预测间达成最佳帕累托权衡。 时序预测结构是动作相关视频表征的核心要素,且逆动力学监督可显著提升对视觉损坏的鲁棒性。

  13. arXiv · AI34

    DRIFT:用于视觉语言模型连续输出解码的残差流适配器

    提出DRIFT框架,结合基础预测器与基于流匹配的生成细化模块,将全局输出分布建模转化为围绕强先验的局部残差分布建模,以适配视觉语言模型的连续解码任务。 该框架在包括视觉定位和机器人控制在内的感知与规划任务上进行评估,在跨MLLMs、VLAs和WAMs的多种架构中,持续优于基于回归和生成的强基线方案。

  14. arXiv · AI31

    PlanAhead框架实证研究:LLM网页智能体中规划表示形式的影响

    研究引入静态规划器-执行器框架PlanAhead,评估4种自然语言规划表示对LLM网页智能体性能的影响。实验在3个难度级别的WebArena任务中,系统测试了包括顺序子目标、叙述、伪代码和检查表在内的4种规划表示。结果显示,规划形式的制定和底层LLM均显著影响网页智能体的稳健性和任务成功率。

  15. arXiv · AI30

    SSR:百万级多模态指令微调的简单数据选择策略

    SSR策略通过子模覆盖最大化,在百万级数据池中仅用30%(约78万)数据即达全量训练99.1%的性能,且具备跨模型和跨数据池的免训练迁移能力。 该策略利用交互风格(Style)代理结构多样性,并将数据质量分解为能力特定分数(Scores),在LLaVA-1.5和LLaVA-OneVision架构上均表现优越。 SSR是首个在百万级规模验证的数据选择方法,显著降低了多模态模型微调的数据需求。

  16. arXiv · AI35

    基于评分标准的医疗大语言模型评估存在系统性盲区

    基于 MedHallu 及 HealthBench 等数据集的研究发现,目前主流的医疗 AI 评分标准方法存在系统性盲区,未能有效捕捉相关幻觉错误。 该研究指出,评分标准在检查明确事实时较为有效,但难以识别计划外或额外的错误。引入检索型事实性检查可修复部分评分标准无法检测的盲区。

  17. arXiv · AI31

    CLEAR:耦合局部证据与情感表征用于多模态情感识别

    提出 CLEAR 框架,用于多模态会话情感识别(ERC),在 IEMOCAP 和 MELD 数据集上取得有竞争力的性能。 该框架通过耦合多模态上下文表征与局部判别线索来改进情绪预测,采用情绪监督视觉语言模型(VLM)的连续内部表征替代生成的情绪标签,并利用样本自适应残差耦合动态整合文本和声学证据。代码已公开。

  18. arXiv · AI40

    Gym-Anything-RT 发布实时视觉语言智能体评测基准

    Gym-Anything-RT 构建 100 个实时视觉迷你游戏,用于评测视觉语言智能体在动态环境下的交互能力。 该基准通过智能体管道基于 6 项核心能力自动生成环境,支持在实时、暂停或减速模式下进行受控对比实验。 GPT-6 Astra 在实时模式下通过率仅 9.0%,暂停后升至 75.0%;研究揭示了智能体在实时交互中存在的能力缺口及规避感知的编码行为。

  19. arXiv · AI27

    V-LUMEN:面向视觉语言模型嵌入扩展的视觉查找记忆

    V-LUMEN通过冻结码本离散化视觉特征及空间感知哈希,为视觉语言模型引入非参数化的视觉查找记忆,检索嵌入经门控残差通路融入骨干网络。 该方法在五个推理密集型基准上显著提升了冻结的Qwen3-VL-2B性能,并零样本迁移至三个图像不重叠的基准。 文章指出外部视觉记忆是独立容量轴,代码已开源,论文被NeurIPS 2026接收。

  20. arXiv · AI32

    LearnPrunerV2:面向视觉-语言模型的可学习渐进式 Token 剪枝

    该论文提出 LearnPrunerV2,通过引入可学习模块与影子 token,解决现有 Token 剪枝中判据不可靠及调度僵化的问题,在 LLaVA-v1.5 上剪枝 77.8% 视觉 token 仍保留 99.8% 性能。模型通过 Budget-Deterministic Pruning 建立硬件友好的固定每层预算调度,并在多个基准测试中持续超越先前最先进方法。

  21. arXiv · AI24

    首个开源巴斯克语 Speech Language Model 基于 LLaMA-Omni 架构开发

    基于 LLaMA-Omni 架构,研究者构建了首个开源巴斯克语 Speech Language Model。该系统采用 Latxa 模型作为骨干网络,通过微调多个模块将文本能力迁移至语音模态,并基于英语语料翻译生成合成数据以解决数据稀缺问题。评估结果显示,系统的内容质量得分为 3.86/5,语音清晰度 WER 为 9.94%,音质 UTMOS 为 3.07。