跳到正文
10月30日周五
  1. arXiv · NLP31

    EVAN:利用证据消融负样本提升多模态推理的强化学习框架

    提出多模态强化学习框架 EVAN,通过构建“证据消融负样本”抑制语言先验捷径,改善多模态推理。 EVAN 利用图像信息增益识别高视觉依赖样本,掩码关键图像 patch 生成视觉未接地但合理的负样本,并在策略优化中将其作为有界辅助信号。 实验在多项多模态推理基准上超越强 RLVR 基线,缓解模态不平衡,代码已开源。

  2. arXiv · NLP28

    音频大语言模型如何“听到”疼痛:从语音声学证据到语言推理的诊断框架

    研究团队提出HEAR框架,评估7款闭源及开源权重LALM对疼痛信息的声学感知能力。 在仅含语音疼痛暗示的Harvard句子上,所有模型表现仅达随机水平,即使使用同一说话人参考或少样本示例,平衡准确率提升也不超过6分;而在带有口头评分的语境中,模型平衡准确率可达87.5%-99.7%。

  3. arXiv · NLP22

    打破对称性:可识别结构如何促进跨语言泛化

    研究提出关系可识别性假设,认为共享世界中的关系可通过排除备选对应促进实体对齐。实验显示在双语言Transformer中,减法使零在任务层面可识别,诱发选择性对齐,而顺序敏感操作产生广泛对齐。 这些模式预测了零样本跨语言迁移的成功,表明关系结构有助于实体对齐并实现迁移。

  4. arXiv · NLP25

    决策模型与生成式大语言模型在医学多选题基准测试中的对比研究

    研究对比了13个决策模型与15种生成式LLM配置,在1,273道MedQA四选一题目中测试表现。 决策模型准确率在67.71%至89.08%之间,生成式配置达78.32%至96.86%;Mercury Decide单次成本最低(每千题0.0069美元),Clef Omni中位请求时长最短(0.291秒)。 决策模型在资源效率上占优但峰值准确率较低,模型选择需综合考量概率质量、重复性及纠错资源需求。

  5. arXiv · NLP38

    MCRP:基于匹配条件响应的鲁棒LLM生成文本探测方法

    研究提出冻结LLM探测框架MCRP,通过匹配条件探测生成文本,提升对意义保留型修订的鲁棒性。 在重写、润色和扩写场景下,MCRP达到93.97% F1和96.24% ROC-AUC,比最强基线高19.50和25.77个百分点。 方法保持探测LLM冻结并训练轻量随机森林分类器,消融实验证明响应特征组贡献互补。

  6. arXiv · NLP23

    Marathi 跨语言抽象摘要研究

    研究者基于 MahaSum 语料库构建跨语言训练数据,结合 PMIndiaSum 数据集微调 IndicTrans2 模型,实现 Marathi 到 English 的摘要生成。 模型在 ROUGE、chrF 等指标上显著优于 IndicBART 和 mBART-50 基线,实验证实预训练翻译模型能有效提升跨语言摘要性能。

  7. arXiv · NLP24

    组件翻译与裁判标注拒绝:一种多语言安全评估方法

    研究提出组件反转翻译方法,固定行为与译文数量,独立分配英、中、西语言以评估9种配置。在Gemini 2.5 Flash和DeepSeek上,拒绝率互换效应未通过Holm校正;Mistral Small 4显示13.7点的西班牙语互换效应,且通过敏感性校正。 该评估框架强调记录组件语言与译文数量,将拒绝与不安全顺从分开解读,为多语言安全测试提供额外维度。

  8. arXiv · NLP26

    多模态Transformer框架:通过语义增强表格对长金融文本进行Grounding

    论文提出一种多模态Transformer框架,通过将金融表格转化为语义增强token序列,并结合交叉注意力机制处理长文本,实现跨模态依赖捕捉。 该框架利用变量的文本定义生成语义嵌入,增强了对数值大小和经济意义的编码,相比仅值嵌入更具表达力且参数效率更高。基于财务报表数据集实验表明,结构化数值特征是主要预测信号,而文本信息通过交叉注意力能带来一致的增量收益。

  9. arXiv · NLP36

    从几何到行为:指令暴露如何解锁 LLM 中的潜在修辞方向

    研究发现指令暴露量决定 LLM 中类比修辞方向的激活能力,Qwen-2.5 基础模型已具备部分可访问性,而 Gemma-2 表现惰性。 通过残差流提取的“类比向量”在 Gemma-2-9B-IT 上使和谐均值从 3.22 提升至 3.94,Qwen 基础与指令模型向量余弦相似度高达 0.94-0.97,验证了行为可及性的连续梯度。

10月29日周四
  1. Hugging Face Blog91

    Mistral Large 4 (Le Chonk) 上线 Hugging Face:多模态 MoE 开放权重模型

    Mistral Large 4(代号 Le Chonk)是一款由 Mistral 发布的 1T 总参、49B 激活参的多模态 MoE 开放权重模型,支持 1M 上下文窗口,并已在 Hugging Face 开源部署。

    推荐理由:Mistral Large 4 侧重网络安全与多模态编码能力,Hugging Face 给出了具体推理部署细节与微调路径。

10月28日周三
  1. Hugging Face Blog87

    NVIDIA 开源 Nemotron 3.5 Transcribe 与 Granary v2,支持提示词驱动的多语言语音转录与微调

    NVIDIA 在 Hugging Face 与 ModelScope 开源 Nemotron 3.5 Transcribe 模型及 Granary v2 数据处理管线,将多语言语音转录、说话人归属与音频问答功能整合在同一权重中。

    推荐理由:模型集成转录、说话人归属与音频问答,配套开源数据管线,读者可据此判断如何将其适配到特定领域场景。

  2. arXiv · ML33

    PDRVLA:融合物理动力学表征的视觉-语言-动作模型

    PDRVLA 提出轻量级物理动力学模块,直接从视觉-语言特征提取物理 token 条件化动作生成,避免在线视频生成带来的高延迟。 该模块通过直接预测未来 RGB、深度和光流特征学习,并采用冻结预训练视频世界模型辅助监督;训练使用公开数据及人形到机器人合成等技术。 在 LIBERO 等四个仿真基准上成功率最高达 99.3%,消融实验验证了世界模型监督对未来预测及动作成功的提升作用。

  3. arXiv · NLP30

    ShredBench:评估多模态大语言模型在文档重构中的语义推理能力

    研究者提出 ShredBench 基准,通过 Markdown 自动管线生成碎片化文档,以测试多模态大语言模型在视觉丰富文档理解中的语义推理能力。 该基准覆盖英语、中文、代码、表格四种场景,包含 8、12、16 碎片三种细粒度。对最先进模型的评测显示,文档碎片化后 NED 指标急剧下降。 研究发现当前模型缺乏跨模态细粒度推理能力,无法有效桥接视觉不连续性。

  4. arXiv · ML30

    评估 AlphaEarth 嵌入在作物分类中的表现:可分性、时间动态与跨区域迁移能力

    研究利用 CONUS 和印度北部田块数据,构建了涵盖几何可分性、时间动态及跨域泛化的评估框架,基准测试了 64 维 AlphaEarth 嵌入。 AlphaEarth 嵌入在光谱相似作物(如玉米/大豆)上的 Bhattacharyya 距离达 3.9,多轮作物轮作可分性比率为 1.784,均显著优于传统特征。

  5. arXiv · ML26

    基于神经元身份的组织框架提升跨主体神经群体动态分析

    新框架利用共享的生物画像将神经元路由至潜在组,支持无需重训练即可向未见动物迁移。 该框架在斑马鱼幼鱼全脑钙成像及小鼠视觉皮层大规模电生理学数据上取得最先进水平,显著提升了行为解码和流形分析性能。 结果表明,按多模态生物特征组织神经群体是推广跨主体动态的有效途径。

  6. arXiv · NLP27

    TOFU:构建基于细粒度可迁移多模态 Token 的知识图谱基础模型

    TOFU 提出了一种基于 token 的知识图谱基础模型,通过离散化结构、视觉和文本信息为模态特异性 token,实现了在 17 个多模态知识图谱上的强泛化性能。 该模型采用层级融合架构和混合消息机制处理多模态 token,在 transductive、inductive 和 fully-inductive 设置下均优于现有的知识图谱基础模型和多模态知识图谱推理基线。

  7. arXiv · NLP43

    AZeroS 模型:基于自生成无指令调优扩展 LLM 至语音领域

    提出 AZeroS 模型,基于 Qwen2.5-7B-Instruct,通过自生成无指令调优(SIFT)范式扩展 LLM 至语音领域,无需收集任务特定问答对。 利用约 25,000 小时带 ASR 转录的语音和 3,000 小时带副语言标签的语音进行训练,仅更新两个 23.80M 参数的轻量投影模块,保持 LLM 和音频编码器冻结。

  8. arXiv · ML40

    多模态大语言模型拒绝机制研究:指令、后训练与内部激活的影响

    研究揭示了多模态大语言模型在视觉证据不足时的拒绝行为由指令、后训练和内部激活共同塑造。 指令的含义和位置对拒绝率影响显著,且存在模型特定的样本级变化;后训练会增加拒绝率,但可能诱发“拒绝语言+尝试回答”的混合响应。 发现激活干预能产生跨提示条件可迁移的小幅变化,提示需将证据识别与模型固有的拒绝倾向解耦。

  9. arXiv · NLP70

    EmbeddingGemma 2 发布:统一高效的开源多模态嵌入模型

    EmbeddingGemma 2 是一个开源的多模态嵌入模型,能在统一空间中表示文本、图像、音频和视频。该模型在多种嵌入基准测试中优于专业模型及体积大两到十二倍的模型,支持选择性加载模态编码器、调整视觉 token 预算及量化权重,模型已在 HuggingFace 和 LiteRT 上发布。

    推荐理由:新模型在基准测试中展现出跨模态优势,其可裁剪架构为资源受限场景的部署提供了参考。

  10. arXiv · NLP20

    基于MLLM层级解耦一致性与冲突的多模态假新闻检测方法MLCCD

    针对多模态假新闻检测中稀疏冲突捕捉不足的问题,提出多级一致性与冲突解耦(MLCCD)方法。 该方法利用多模态大语言模型(MLLM)不同层级的表征,通过筛选相关token并解耦各层新增知识,分别聚合一致性与冲突证据。 在三个基准测试上,MLCCD的表现优于现有方法。

  11. arXiv · NLP26

    跨模态导向向量在图像与文本生成中均存在

    研究揭示统一多模态模型中跨模态导向向量的存在及其零样本迁移能力。 导向向量可在文本与图像模态间双向零样本迁移以控制情感、物体大小等概念,甚至对模态特有概念产生一致可解释效应。 这些发现阐明了视觉与语言在模型内部的交互机制,为模态无关的行为控制方法提供方向。

  12. arXiv · NLP21

    BrailleBench 基准测试显示 VLM 在盲文识别上表现不佳,合成数据训练可显著提升准确率

    BrailleBench 基准包含 259 张真实世界一级和二级盲文图像,通用视觉语言模型直接转写表现差,而工具辅助系统表现更好。 基于 2B VLM 在合成盲文数据上训练后,在一级盲文上达到 87% 精确匹配,在二级盲文上达到 61% 精确匹配,优于独立运行的 VLM。 结果表明合成数据监督可改进真实场景下的盲文转写,但在合成验证集上高达 96% 准确率并不保证在真实照片上表现良好。