TRACE:大型音频语言模型源级反事实审计框架
研究提出 TRACE 框架,用于审计 8 个大型音频语言模型在 3,456 个混合样本中的证据一致性。 结果显示 6.3% 的正确答案未通过排序审计,且随目标信噪比下降,该失败比例从 4.9% 升至 8.4%。 该审计揭示了准确率无法证明模型能区分声音存在与否的底层逻辑冲突。
研究提出 TRACE 框架,用于审计 8 个大型音频语言模型在 3,456 个混合样本中的证据一致性。 结果显示 6.3% 的正确答案未通过排序审计,且随目标信噪比下降,该失败比例从 4.9% 升至 8.4%。 该审计揭示了准确率无法证明模型能区分声音存在与否的底层逻辑冲突。
该研究提出无训练框架解决个性化图像分割中相似实例混淆问题,指出现有方法在单实例基准上的高分是伪影,而在真实多实例场景中点提示方法因召回瓶颈而失效。 系统通过类无关检测器生成提议,利用 BLIP-2 特征匹配及新提出的 Top-K Sinkhorn 算法筛选,最后由 SAM 细化,以低于 100 倍的成本恢复鲁棒性。
针对SDR转HDR的盲逆问题,提出将视频反向色调映射重构为后验推理,通过潜在亮度监督纠正生成先验导致的亮度偏差。 使用视频扩散隐空间固定仿射功能量读取对数亮度,配合非对称损失选择后验分位数,并在显式色调算子族下合成训练SDR,使亮度误差更平缓且平均更小,在三项基准测试中取得最佳感知质量。
利用 V-JEPA 视频预训练特征进行有监督多视角重建,在 CO3D 168 个五视角窗口中,空间相机配置使绝对轨迹误差降低 29.3%。 联合相对目标将相似度对齐 Chamfer 距离从 0.6447 优化至 0.5573,但原始 Chamfer 距离增加。 结果揭示了表示适配、对齐形状与原始重建的差异,建议独立评估组件后再归因性能提升。
研究提出 CFGComposer,一种联合训练的动作扩散模型,通过估计 Copula 分数 $s_I$ 校正音频与文本模态间的交互偏差。模型在 BEAT 数据集上实现最佳语义保真度(FID 27.18),盲测胜率 76-83%。该成果在 Unitree G1 人形机器人上验证了直接 Sim-to-Real 迁移能力。
提出统一框架,将视觉基础模型与脑活动连接,支持多视角神经分析。 该框架使用稀疏可解释的视觉原型表征替代黑盒特征,通过线性读出将原型与体素响应关联,实现模型透明化。 该设计揭示了视觉概念对神经反应的驱动作用及皮层组织规律,确立了原型表征在研究人类视觉表征中的统一可解释基础。
论文提出提示驱动的自蒸馏(HISD),利用外部模型生成的分割提示证据进行 token 级信用分配,以解决视觉相似对象中识别目标的问题。 HISD 通过提示条件化的指数移动平均教师模型计算证据比率,仅调整正组相对优势的大小,学生模型在推理时既不需要提示也不需要教师模型。
提出轻量级提示空间优化框架,针对 12 种语言、7 个语系进行自然性、文化适配及难度增强,提升多语言 LLM 性能。 在相同数据条件下,该方法在 Global-MMLU 上准确率提升 4.7%,Flores 上提升 2.4%,mArenaHard 胜率提升 35.3%,并获人工偏好验证。
研究显示,当预测错误且存在正确视图时,熵识别有效视图的能力仅略优于随机,仅恢复约 1/20 的 Oracle 精度。 分析表明熵衡量置信度而非类别偏好;利用裁剪保留比例排序,在 15 个基准中的 14 个上优于熵方法。 该研究被 NeurIPS 2026 Workshops 接收,揭示了测试时适应中未被利用的信号。
研究首次系统调查多模态大语言模型中显著的文本主导现象,提出模态主导指数和注意力效率指数两项评估指标。 分析发现严重 token 冗余导致的注意力稀释是核心原因,应用 token 压缩方法使 LLaVA-7B 的 MDI 从 10.23 降至 0.86,实现模型注意力重新平衡。
提出 ViSeLA 框架及首个大规模行人多语言预训练数据集 MultiPedes,包含 1000 万个图像文本对。 ViSeLA 结合语义感知的 MoE 模块与视觉接地跨模态对齐模块,避免英语中心偏差。 该方法在多个数据集上验证了有效性,论文已被 ACM MM 2026 接收。
ESGPred提出结合领域特定语言建模与图学习的模块化ESG评分预测框架。 在5,266份2020-2023年上市公司可持续发展报告数据集上评估,以LSEG Data & Analytics评级为基准,结果显示加入图关系学习可提升预测性能。 该框架能预测ESG总体评级及环境、社会、治理各分项,为投资决策与合规评估提供数据驱动支持。
研究揭示视觉内容重采样可致文本指令语义漂移,在四个闭源视觉语言模型上,SISS框架第三轮攻击成功率达58.75%。 下游Web智能体行为妥协率约4%,ScaleGuard检测器将非自适应攻击成功率从61.4%降至24.3%。
该方法使用预训练多模态表示,结合参考偏差、残差衰减率和雅可比谱描述符,作为独立筛查的候选代理生物标志物。 实验在五个队列的四个数据集上进行,展示了参考信息量与融合收益之间的区别及上下文依赖性效用。
基于 ASL-Citizen 训练的手势编码器在冻结状态下,对六种低资源手语检索的首次准确率达 36.4%-80.7%。 消融实验表明,采用 per-pair InfoNCE 目标并屏蔽身体与手部间的注意力,可将准确率提升最高 5.1 个百分点。
研究团队发布 Lara Mini Base,这是基于 6T tokens 和 44 种语言训练的开源多模态 MoE 模型,总参数量 7.2B 且激活参数 0.6B。该模型在标准英语、多语言、数学及代码基准测试中,以少于主流模型 4 至 6 倍的训练数据量取得最高平均分。其 128k 上下文支持及单 GPU 无量化 1.8 倍推理速度优势,证明了 MoE 架构有效缓解了多语言训练中的容量竞争问题。
MuSeToM 发布包含 2415 个实例的人机验证文本基准,用于评估大语言模型在理论推理中的认知信念修正能力。该基准改编自 BigToM 和 OpenToM,涵盖六种感官类别的文本线索,测试模型判断信念是否应修正及推断更新后状态的能力。 系统评估显示,模型常能检测到信念可能改变,但难以识别更新后的信念,且频繁基于感知显著但认知不足的线索进行过度更新。
研究团队发布 EvenVLM,首个针对西伯利亚濒危语言 Even(约 6,800 人使用)的文本与多模态数据集,包含 50,521 条结构化语料及 107,543 个合成训练样本。
研究者提出双向生成框架 IsharaBART,通过 BART 条件语言建模解决孟加拉语手语低资源双向翻译难题。 基于 BART 架构构建紧凑去噪 Seq2Seq 模型,经 1,000 条并行数据与 4,831 条扩充数据微调,BLEU-4 达 51.7。 该框架参数量不足基线模型 10%,性能超多数多语言模型,预训练可加速收敛并提升精度。
该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。
该系统整合公共卫生检查与大众点评数据,为餐厅决策支持提供基于证据的可审计推理。 研究评估了三种智能体配置:仅数据库 ReAct 智能体、结合法规检索的智能体,以及生成结构化假设的本体引导智能体。 工作将餐厅选择定位为人机协作、智能体推理视觉溯源及生成式 AI 决策支持界面设计的具体案例。
提出 QDRAG 框架,通过查询分解和重排序消除多跳推理中的过度引用。 引入 QD-C 和 QD-R 两种零样本分解方法,发现针对 QD 任务的微调比直接微调下游 RAGQ 任务具有更好的泛化性。 实验表明 QDRAG 在四个多模态 QA 基准上显著优于基线,甚至超过 Gemini-Pro。
论文提出 Masked Diffusion Drive(MD-Drive)多阶段优化管线,在 NAVSIM 闭环基准上较未优化模型性能提升 29.7%。 该方法结合监督微调、强化学习及动态解码 DAD,无需辅助专家模块。MD-Drive 在 nuScenes 和 DriveCoT 数据集上超越同架构自回归基线,实现性能与计算成本更优平衡。
该研究提出结构化再解码(SRD),一种无需训练的框架,通过联合优化局部候选选择来扩展预训练模型在新结构约束下的决策空间。 在分子生成、蛋白质设计等领域验证其提升结构化推理能力,并初步探索了物理相干 Ising 机实现硬件优化的可行性。
GuardianAgentFlow 提出一种多智能体框架,通过显式发布契约中介外出 Web 请求,以区分经脱敏处理可发送的请求与必须扣留的请求。 该框架包含限制检查、共享保护范围及基于候选者的反馈机制;实验表明其在人工审查意图标签的 Web 请求中提升了请求契约成功率,且协调效益在更小中介模型下依然存在。
TFC-MMFD 基于 LLaMA 骨干提出多模态融合基础模型,在 10 个公开轴承数据集上取得 99.40% 准确率和 99.16% macro-F1,较最强域泛化基线提升 10.57 个百分点。
研究团队推出 Neuro-VL,这是一个基于近百万例神经影像数据训练的多模态模型。在内部及国际数据集评估中,Neuro-VL 在异常诊断、定位及生成放射学报告方面,表现优于 OpenAI 和 Google 的前沿通用及专用医疗模型。该模型还支持对连续影像检查进行对比,以评估疾病进展,并能更可靠地抵御误导性临床假设。
推荐理由:Neuro-VL 在多项任务上超越了 OpenAI 和 Google 的前沿模型,展示了通用医疗 AI 的纵向监测能力。
研究对比了 Jev 与生成式 LLM 在四个多语言基准上的表现,覆盖 47 种语言。Jev 评估成本仅为 GPT-6.1 的 1/31 至 1/61,在多数任务中具有竞争力,但在知识密集型验证上落后。 Jev 在低资源语言中更易接受错误答案,其概率输出有助于识别错误。研究据此提出评估指令、基于置信度的选择及模型路由建议。
跨6个模型族的因果消融实验发现,多模态训练会在纯文本推理中形成“视觉化思维”(EVT),改变隐藏状态几何结构。 在Chameleon-7B模型中,视觉-语言轴消融使BBH导航准确率下降27.6个百分点,而布尔表达式准确率提升5.6个百分点,双重分离度达33.2个百分点。
基于冻结的多模态 LLM,通过 97M 参数适配层以约 30 GPU 小时训练出全双工词级口语对话系统。 Thinker 保持冻结,Talker 独立读取离散 token;在 Full-Duplex-Bench 和 InteractionBench 中,该系统的口语任务准确率、连贯性优于大规模训练的开源自对系统。
该研究提出基于NVIDIA Tesla T4硬件的多模态RAG优化框架,将7B模型VRAM占用降至8.37 GB,实现12-16 GB显卡部署。 采用NF4量化保持长上下文稳定性(81 ms/tok延迟),结合Florence-2视觉集成仅增加430 MB VRAM开销;结构化提示词使延迟降低47%,数学推理准确率从35.0%恢复至92.0%。
summary_zh: arXiv 论文发布 MDU,这是覆盖英文、法文等 5 种语言及 13 项任务的多语言文档理解基准,含 23146 个样本。 基准评测了 45 个 1.7B 至 235B 参数的开源 VLM 及 1 个商用系统,最高平均分仅为 69.0,仅 8 个系统超过 65 分。
MITRA-Swarm 多智能体架构在 1000 句分层基准测试中实现 85.90 MQM 质量分,较单体基线高 0.63 分。 该架构集成 Sandhi 拆分智能体、gemma-4-26B-A4B-it 翻译器及语篇省略恢复模块。严重失败率降至 7.6%,推理成本约为基线 9 倍。
CARNIVAL模型通过模拟数据训练,利用前向模型腐蚀生成不变性配对的同一场景视图,并整合蛋白质位置与身份等特权信息优化架构与损失函数,无需微调即可在真实断层扫描图像上执行分类与检测任务。
WorldTrace 是一个免训练的内存框架,通过为每个摘要槽位分配独立的分布内虚拟位置,解决了视频世界模型在超出训练范围后因 RoPE 偏移导致无法可靠访问存储内容的问题。 该框架利用模型自身注意力决定保留或合并观测,构建有界可寻址内存库;在 LoopBench 基准测试中,其 DINOv2 召回相似度比滑动窗口提升 32.6%。
GAP通过数据、特征和模型三层对齐解决视觉潜在推理中的特征空间失配问题。在Qwen2.5-VL 7B上,GAP实现了最佳感知与推理综合得分,是唯一在所有对比中两项指标均优于基座模型的潜在方法。 该工作被NeurIPS 2026接收,代码已开源。
研究构建了高维分析框架,揭示类别方差是决定 score-based 扩散模型学习顺序的主要因素,始终有利于高方差类别。 采样不平衡作为调节因素,可逆转学习顺序,迫使少数类别在后向扩散阶段产生延迟推理时间。 论文在 Fashion MNIST 上使用 U-Net 模型验证了预测,相关成果已被 NeurIPS 2026 接收。
TRACED-X 结合蒙特卡罗模拟与神经网络,实现了胶质瘤患者体内细胞微结构与扩散参数的同步量化。 该模型通过训练神经网络回归器估算参数,利用8名患者的扩散数据拟合,参数分布与临床影像特征高度一致。 TRACED-X 有望在肿瘤治疗前后识别异质亚区,其相关参数未来将探索在临床上的应用。
提出无训练方法 MotionCFG,通过向运动嵌入注入高斯噪声构建负向条件,选择性放大 T2V 生成中的运动意图。 方法在理论上近似语义拉普拉斯锐化,抑制运动模糊区域;配合分段引导计划,以极低开销显著提升现有 SOTA T2V 框架的运动质量。 该方法已获 NeurIPS 2026 录用,并证明其原理可泛化以调节物体数量等复杂非线性概念。
该研究指出多模态大语言模型(MLLM)验证器存在普遍的“同意偏见”,即过度验证智能体行为,且该偏见对测试时缩放具有鲁棒性,会损害依赖 MLLM 判断的自改进流水线。