GEM-MM:通过熵引导偏好对齐减少 VLM 幻觉
GEM-MM 通过熵引导偏好对齐减少视觉语言模型(VLM)幻觉,基于 Qwen3-VL-4B-Instruct 在 3000 个提示预算下取得最佳熵深度偏好分数 61.7%。 方法采用组归一化策略梯度,奖励高熵推理分叉并惩罚不确定答案,将 AMBER 幻觉率从 23.4-24.0 降至 20.6。 代码与评估框架已开源,统计显著性检验 p 值小于 0.001,确认了主要消融实验结果。
GEM-MM 通过熵引导偏好对齐减少视觉语言模型(VLM)幻觉,基于 Qwen3-VL-4B-Instruct 在 3000 个提示预算下取得最佳熵深度偏好分数 61.7%。 方法采用组归一化策略梯度,奖励高熵推理分叉并惩罚不确定答案,将 AMBER 幻觉率从 23.4-24.0 降至 20.6。 代码与评估框架已开源,统计显著性检验 p 值小于 0.001,确认了主要消融实验结果。
MAPS 是首个结合街景图像的结构化 POI 提取与数据库维护框架,在人工评审的全任务评测中比最强基线模型高出 21.8%。 该框架包含 SPICE 和 RIMA 两个级联模块,已部署于 Kuaishou 的大规模 POI 生产线,将平均处理时间较人工标注减少 76.9%。
summary_zh: EHRDiB 提出了一种统一电子健康记录(EHR)补全与合成的框架,结合共享多模态表示与证据条件化潜在扩散桥,区分原始缺失与隐藏输入。
该研究提出自动化SFT数据引擎LogT,通过强制逻辑链引导生成高质量训练数据,解决视觉搜索中逻辑推理与工具使用挑战。 在Qwen2.5-VL-7B和InternVL3.5-8B上验证,LogT-SFT仅用3.1倍更少的数据和120倍以上更少的GPU小时,超越SFT和RL训练的SOTA模型。 应用简单RL配方后,模型性能比复杂RL设置方法高出9.59分,并展现出更高工具使用准确性与结构化推理轨迹。
研究提出 DECOY 方法,通过扰动无关细节测试模型对物理问题的捷径敏感性。Qwen2.5-7B-Instruct 在 50.0% 的测试案例中表现出敏感性,高于 Llama-3.1-8B-Instruct 的 22.9%。
summary_zh: SARGO提出了一种后训练框架,通过基于策略自我引导实现选择性强化和抑制,以缓解视觉语言模型中的视觉幻觉问题。 该方法在Qwen3-VL-4B、Qwen3-VL-8B和Gemma3-4B模型上进行了实验,结果显示SARGO在Obj-Hal、AMBER、THRONE和SHR评估中表现优于现有基线方法。
NI-ACT框架将皮层信号解读为持续意图以驱动机器人抓取,在反事实任务中意图替换改变了抓取行为。 将群体潜在变量作为意图token使抓取完成率从69%升至81%,PMd区域读取效果优于M1(77% vs 53%)。 证明神经信号的表征方式及读取时空位置共同决定了向具身智能体传达运动目标的有效性。
论文提出 Mem2Fair,一种即插即用的框架,通过维护概念条件化的公平记忆在推理时提升文本到视频(T2V)生成的公平性。 该框架利用生成视频作为反馈,基于属性干预选择提示词,无需模型训练或独立部署前采样,可在多个属性、提示设置和目标分布上持续改善公平性,并保持与未修改生成器相当的提示-视频对齐和视频质量,同时支持在商业黑盒 T2V 模型上运行。
Qwen3.5-27B 在 5 个合成聚类场景中表现良好,其智能体循环产生的 silhouette 分数接近网格搜索,但迭代次数大幅减少。 实验分为三步:区分最优聚类、为可视化结果打分,以及通过 VLM 调整 k-means 超参数。 研究证实 VLM 视觉反馈可自动调优聚类算法,但在噪声和模糊设置中表现挣扎。
针对小样本临床数据,冻结预训练多模态嵌入结合统计池化和经典模型在9项量表平均$r=.406$,显著优于深度学习。 具体实验使用106个会话和88名患者数据,症状困扰量表$r$达$.490$,而优化后的单阶段深度模型仅$.222$。 该结果建议在数据稀缺场景下避免学习聚合方法,采用固定统计池化以提升预测可靠性。
DECOUPAGE 提出一种由剧本驱动的长形式多镜头、多角色音视频联合生成框架。该模型基于联合扩散架构,通过双调度时间交叉注意力机制实现视听时序解耦,支持 15-60 秒生成的多模态一致性控制。
该文综述了乳腺癌检测中15种以上的多模态融合方法,涵盖乳腺摄影、超声等常规技术及热成像等新兴技术。指出AI在数据、特征和决策层级的融合应用日益增多,同时面临数据集不足和外部验证有限等挑战。
VEX 框架利用音视频理解统一外部演示学习与行为反思,video-SALMONN-VEX 基于 Qwen3.5-9B 构建,在 OSWorld 上任务成功率提升 22%。
零训练 LLM+OVOD 管线中 CAAP 与 SNAP 的显著差异主要源于词汇新颖度,当 LLM 用词超出检测器原生类别时定位准确率从 80.9% 降至 31.6%。78-88% 看似定位失败实为模型正确找到 COCO 未标注的真实物体,而非幻觉。该发现表明需重新评估基于开放世界的多模态系统失败模式与检测幻觉方法。
MindTopo 基准测试涵盖连续性、分离、顺序、封闭及拓扑结五个维度,包含3900个核心实例。 针对13个多模态大语言模型评估显示,模型在推理任务中表现优于规划,但在简单层级上仍落后于人类。 该测试揭示基础模型在闭环智能体规划及视频生成校验中仍存在显著局限。
HEED通过密度加权残差对齐解决混合架构蒸馏中细粒度文本丢失问题,将Qwen3-VL-8B-Instruct蒸馏为3:1 Mamba-2/attention混合模型。 该方法利用patch自相似性作为位置重要性代理,无需额外训练,在OCR Bench v2上提升8.7分,10项基准平均分提升5.13分。 不增加参数或推理成本,保留混合架构4.12倍吞吐量及128k上下文68%内存节省优势。
LatentRouter 提出基于反事实多模态效用预测的路由框架,在 MMR-Bench 和 VL-RouterBench 上优于固定模型、特征级及学习型路由基线。 该方法通过提取多模态路由胶囊,用模型能力 token 表征候选 MLLM,并以潜层交互估计各模型表现,支持性能与成本导向的路由策略。 代码已开源。
研究者揭示多模态专家混合模型存在“看见但不思考”现象,即模型能准确感知图像内容,却在后续推理中失败,而纯文本场景下能正确解题。 分析发现视觉专家与领域专家存在层级分离,图像输入在中层诱导了显著的路由偏差,导致任务相关的推理专家未能充分激活。 通过设计路由引导干预方法增强领域专家激活,在六个基准测试中取得一致提升,复杂视觉推理任务最高提升3.17%。
该研究提出一种黑盒可解释性框架,通过原子概念编辑学习可验证宪法,从而解释和控制模型行为。在数学推理任务中,干扰变量使 GPT-5 易混淆,但对 Gemini 2.5 和 o4-mini 影响有限;在文生图任务中,GPT-Image 侧重语法合规,Imagen 4 则优先氛围一致性。使用学习得到的宪法控制模型行为,成功率平均提升 1.86 倍。代码已开源。
研究发现 LLM 存在“逻辑过度绑定”倾向,导致其偏好与真实用户参与度产生系统性差距。基于 117 万条知乎、Quora 和 Reddit 问答数据,AI 生成内容随参与度增加而强化逻辑结构,而真实用户更响应情感与表达显著性。
IndicQE-APE 基准整合了 WMT 2020-2024 任务资源,包含 9 个方向对的 126,754 个实例,涵盖 4 种标签类型。 该基准在段落级质量估计上评测了 6 个 LLM 和 3 个 COMET 指标,在自动后期编辑上评测了 3 个系统。 研究发现 4-shot 提示法会损害所有 3.4B 及以下规模模型的输出合规性与相关性。 ```
对12个VLM的8种UE方法基准测试发现,UE质量随模型准确率下降而恶化,无法在模型最薄弱处提供可靠信号。在NOTA扰动测试中,模型准确率崩塌但不确定性几乎不变,导致系统性失准。未扰动输入下的不确定性仍能可靠预判哪些预测在扰动下会失效,证明UE具备诊断模型脆弱性的价值。
研究者推出 CRADLE-Dialogue 基准及 32B 参数模型,旨在解决多轮对话中的实时危机检测难题,显著优于现有开源模型。 该基准包含 600 个对话,覆盖自杀意念等临床风险,并引入 Alert-Confirm 评估协议区分预警与确认阶段。模型在真实患者访谈中展现出良好的泛化能力。
JuICE 是用于评估 LLM-Judge 识别文化错误的多语言基准,包含 7470 个错误片段标注和 1050 个查询响应对。 覆盖美、韩、印尼、孟加拉四国,使用英语及当地主要语言,涉及长篇 LLM 响应中的文化与语言错误。 最强 LLM-judge 在错误片段检测任务中 F1 仅为 0.51,且持续遗漏本地居民易识别的深层文化错误。
针对标准预训练语言模型在对话情感识别中缺乏可解释性且易将少数类误判为中性类的问题,研究者结合模糊指纹技术提出了解释性方法。该方法通过模糊相似函数匹配情感原型,实验显示减少了中性类过度分类,并获人类评估支持,在达到最先进水平的同时揭示了分类过程。
研究提出利用医疗共识指南生成黄金标准推理链,对 MIMIC-III 进行大规模监督微调。 应用 SOFA、SAPS-II 和 Sepsis-3 指南显示,小型微调模型在推导正确性和 F1 分数上显著优于大型单次提示模型。 单次提示难以产生可靠的逐步推理,且模型在预测未来临床变量时性能普遍下降。
该工作构建了首个公开的孟加拉语文本到 Gloss 翻译数据集,包含 1,000 条人工标注、4,000 条合成数据及 159 条测试对。 实验对比了微调开源模型与 GPT-5.4,GPT-5.4 自动指标得分最高,但较小的开源模型表现也具有竞争力。 这证明了系统性生成的合成数据在解决低资源手语翻译挑战中的有效性。
3D-MoE 发布,这是一款采用混合专家架构的 3D 视觉语言模型,旨在解决空间智能任务中密集 Transformer 的高计算成本。 其核心创新包含模态与空间上下文感知的概率路由方案,并集成了基于扩散的 Pose-DiT 动作头,实现单步生成 6D 位姿动作。 该模型在减少激活参数量的同时实现了机器人操作任务的实时推理,代码已开源。
研究发现 LLaMA、Qwen 和 Aya 模型在 19 种语言生成传记时存在幻觉率差异,高资源与低资源语言间差距显著。 研究通过扩展 FactScore 指标至多语言场景进行量化,并将生成结果与 Wikipedia 页面进行对比以评估准确性。 该成果已被 PMLR 会议接受,揭示了 LLM 多语言性能及幻觉评估面临的挑战。
针对 2002-2023 年 637 个北大西洋及北太平洋东部热带气旋,将 NHC 讨论文本与 SHIPS、ERA5 预测因子结合用于强度预测。 在 2022-2023 年气旋上,将讨论信息加入 SHIPS 因子后,24 小时最大持续风速预测的 MAE 从 9.89 降至 8.90 kt,且重抽样置信区间未包含零。
研究揭示 Qwen3-VL 通过绑定头、光标信号、选择步骤和注视头四部分机制规划视觉回答顺序,该机制在 2B 至 32B 模型中均成立。 因果干预验证显示该机制适用于不同输入格式、自然照片及多种语言,binding、relay 和 gaze 头存在于所有测试模型尺寸中。 此发现为研究模型在长程多步任务中的规划过程提供了新路径。
研究发现视觉语言模型在跨图像比较中存在特定失败点,通过调整16-32个注意力头可显著提升性能。在Qwen3-VL-8B模型上,仅训练这些头的查询和键投影使SPair-71k准确率提升28.3分,该效果可迁移至其他基准测试。
summary_zh: 该框架结合预测不确定性与零样本多模态相关性风险代理,在解码时分配水印强度,实现无需重训的检测-质量权衡。 单风险惩罚参数 $\lambda$ 控制工作前沿,选中点平均水印强度较固定强度降低约 59.4%,困惑度变化从 0.3634 降至 0.1689。
针对权重分解方法难以降低延迟的问题,研究者提出均衡孪生权重分解(BTWF)方法。该方法通过共享基底设置减少前向计算,并结合因子与块贡献均衡机制提升学习能力。在六个模型、九个基准测试中,BTWF 无需昂贵微调即可比最先进方法提升 2-6% 性能,计算成本相当。
预注册研究测试了42名大学生与聊天机器人的对话,发现英语占主导,而在文化话题中,低资源语言Papiamentu/o和西班牙语的使用占比从15%上升至24%。 参与者极少在同一条消息中混合多种语言,且自报对AI的语言切换舒适度不亚于与人交流。 这表明会话AI需要适应逐轮次的语言变化,并优化对本地低资源语言的处理。
研究者提出仅用于训练的SAGA正则化器,利用居中控核对齐将神经分子表征与指纹Tanimoto相似度对齐,且不增加参数或需推理时使用指纹。 该研究基于MolCA和Atomas模型进行验证,SAGA提升了分子-文本检索性能,使非精确检索偏向更接近的结构类似物,并提高了骨架分割属性预测的平均表现。 结果证实,既有的化学信息学先验知识可增强分子语言模型表征的化学真实性,同时保留其多模态效用。
RAMP 提出统一答案读取协议,揭示读取方式显著影响多模态模型评估结果。 在 500 道 POPE 对抗题上,SmolVLM-256M 准确率因读取类型差异波动达 20.2 个百分点,TinyLLaVA-1.1B 为 16.4 个百分点。 该协议提供可复现分析框架,将答案读取确立为多模态评估中可测量的关键组件。
研究提出 ViStoryBench-Personality 基准评测七种文生图系统,确认其存在“特质崩塌”现象,即无法维持符合人格的行为一致性。 引入免训练框架 Trait-Behavior-Visual,将人格特质分解为视觉约束,使人格对齐分数提升最高 22.1%,且语言条件能力强的模型获益更大。
研究者提出 Multi-Branch Transformer (MBT) 架构,通过并行组合全 Transformer 分支,在 0.8B 至 2.1B 参数规模下优于标准 Transformer。
summary_zh: Nahual 是一款仅解码器自回归扩散模型,支持文本和 3D 分子任意序列。 它在 12 个 3D 化学任务上端到端训练,单一权重集同时执行所有任务并超越晶体结构预测等 SOTA 模型。