低资源语言语音转写:28 个开源多语言模型在 50 种低资源语言上的迁移微调研究
该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。
该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。
该系统整合公共卫生检查与大众点评数据,为餐厅决策支持提供基于证据的可审计推理。 研究评估了三种智能体配置:仅数据库 ReAct 智能体、结合法规检索的智能体,以及生成结构化假设的本体引导智能体。 工作将餐厅选择定位为人机协作、智能体推理视觉溯源及生成式 AI 决策支持界面设计的具体案例。
提出 QDRAG 框架,通过查询分解和重排序消除多跳推理中的过度引用。 引入 QD-C 和 QD-R 两种零样本分解方法,发现针对 QD 任务的微调比直接微调下游 RAGQ 任务具有更好的泛化性。 实验表明 QDRAG 在四个多模态 QA 基准上显著优于基线,甚至超过 Gemini-Pro。
论文提出 Masked Diffusion Drive(MD-Drive)多阶段优化管线,在 NAVSIM 闭环基准上较未优化模型性能提升 29.7%。 该方法结合监督微调、强化学习及动态解码 DAD,无需辅助专家模块。MD-Drive 在 nuScenes 和 DriveCoT 数据集上超越同架构自回归基线,实现性能与计算成本更优平衡。
该研究提出结构化再解码(SRD),一种无需训练的框架,通过联合优化局部候选选择来扩展预训练模型在新结构约束下的决策空间。 在分子生成、蛋白质设计等领域验证其提升结构化推理能力,并初步探索了物理相干 Ising 机实现硬件优化的可行性。
GuardianAgentFlow 提出一种多智能体框架,通过显式发布契约中介外出 Web 请求,以区分经脱敏处理可发送的请求与必须扣留的请求。 该框架包含限制检查、共享保护范围及基于候选者的反馈机制;实验表明其在人工审查意图标签的 Web 请求中提升了请求契约成功率,且协调效益在更小中介模型下依然存在。
TFC-MMFD 基于 LLaMA 骨干提出多模态融合基础模型,在 10 个公开轴承数据集上取得 99.40% 准确率和 99.16% macro-F1,较最强域泛化基线提升 10.57 个百分点。
研究团队推出 Neuro-VL,这是一个基于近百万例神经影像数据训练的多模态模型。在内部及国际数据集评估中,Neuro-VL 在异常诊断、定位及生成放射学报告方面,表现优于 OpenAI 和 Google 的前沿通用及专用医疗模型。该模型还支持对连续影像检查进行对比,以评估疾病进展,并能更可靠地抵御误导性临床假设。
推荐理由:Neuro-VL 在多项任务上超越了 OpenAI 和 Google 的前沿模型,展示了通用医疗 AI 的纵向监测能力。
研究对比了 Jev 与生成式 LLM 在四个多语言基准上的表现,覆盖 47 种语言。Jev 评估成本仅为 GPT-6.1 的 1/31 至 1/61,在多数任务中具有竞争力,但在知识密集型验证上落后。 Jev 在低资源语言中更易接受错误答案,其概率输出有助于识别错误。研究据此提出评估指令、基于置信度的选择及模型路由建议。
跨6个模型族的因果消融实验发现,多模态训练会在纯文本推理中形成“视觉化思维”(EVT),改变隐藏状态几何结构。 在Chameleon-7B模型中,视觉-语言轴消融使BBH导航准确率下降27.6个百分点,而布尔表达式准确率提升5.6个百分点,双重分离度达33.2个百分点。
基于冻结的多模态 LLM,通过 97M 参数适配层以约 30 GPU 小时训练出全双工词级口语对话系统。 Thinker 保持冻结,Talker 独立读取离散 token;在 Full-Duplex-Bench 和 InteractionBench 中,该系统的口语任务准确率、连贯性优于大规模训练的开源自对系统。
该研究提出基于NVIDIA Tesla T4硬件的多模态RAG优化框架,将7B模型VRAM占用降至8.37 GB,实现12-16 GB显卡部署。 采用NF4量化保持长上下文稳定性(81 ms/tok延迟),结合Florence-2视觉集成仅增加430 MB VRAM开销;结构化提示词使延迟降低47%,数学推理准确率从35.0%恢复至92.0%。
summary_zh: arXiv 论文发布 MDU,这是覆盖英文、法文等 5 种语言及 13 项任务的多语言文档理解基准,含 23146 个样本。 基准评测了 45 个 1.7B 至 235B 参数的开源 VLM 及 1 个商用系统,最高平均分仅为 69.0,仅 8 个系统超过 65 分。
MITRA-Swarm 多智能体架构在 1000 句分层基准测试中实现 85.90 MQM 质量分,较单体基线高 0.63 分。 该架构集成 Sandhi 拆分智能体、gemma-4-26B-A4B-it 翻译器及语篇省略恢复模块。严重失败率降至 7.6%,推理成本约为基线 9 倍。
CARNIVAL模型通过模拟数据训练,利用前向模型腐蚀生成不变性配对的同一场景视图,并整合蛋白质位置与身份等特权信息优化架构与损失函数,无需微调即可在真实断层扫描图像上执行分类与检测任务。
WorldTrace 是一个免训练的内存框架,通过为每个摘要槽位分配独立的分布内虚拟位置,解决了视频世界模型在超出训练范围后因 RoPE 偏移导致无法可靠访问存储内容的问题。 该框架利用模型自身注意力决定保留或合并观测,构建有界可寻址内存库;在 LoopBench 基准测试中,其 DINOv2 召回相似度比滑动窗口提升 32.6%。
GAP通过数据、特征和模型三层对齐解决视觉潜在推理中的特征空间失配问题。在Qwen2.5-VL 7B上,GAP实现了最佳感知与推理综合得分,是唯一在所有对比中两项指标均优于基座模型的潜在方法。 该工作被NeurIPS 2026接收,代码已开源。
研究构建了高维分析框架,揭示类别方差是决定 score-based 扩散模型学习顺序的主要因素,始终有利于高方差类别。 采样不平衡作为调节因素,可逆转学习顺序,迫使少数类别在后向扩散阶段产生延迟推理时间。 论文在 Fashion MNIST 上使用 U-Net 模型验证了预测,相关成果已被 NeurIPS 2026 接收。
TRACED-X 结合蒙特卡罗模拟与神经网络,实现了胶质瘤患者体内细胞微结构与扩散参数的同步量化。 该模型通过训练神经网络回归器估算参数,利用8名患者的扩散数据拟合,参数分布与临床影像特征高度一致。 TRACED-X 有望在肿瘤治疗前后识别异质亚区,其相关参数未来将探索在临床上的应用。
提出无训练方法 MotionCFG,通过向运动嵌入注入高斯噪声构建负向条件,选择性放大 T2V 生成中的运动意图。 方法在理论上近似语义拉普拉斯锐化,抑制运动模糊区域;配合分段引导计划,以极低开销显著提升现有 SOTA T2V 框架的运动质量。 该方法已获 NeurIPS 2026 录用,并证明其原理可泛化以调节物体数量等复杂非线性概念。
该研究指出多模态大语言模型(MLLM)验证器存在普遍的“同意偏见”,即过度验证智能体行为,且该偏见对测试时缩放具有鲁棒性,会损害依赖 MLLM 判断的自改进流水线。
LLM-to-Phy3D 利用 LLM 实现在线物理约束 3D 物体生成。 它引入在线黑盒微调循环,通过视觉与物理评估驱动迭代,提升 3D 模型的物理性能与几何新颖性。 在车辆设计优化中,该框架使 LLM-to-3D 模型物理合规 3D 设计能力提升 4.5% 至 106.7%,已发表于 IEEE CEC 2026。
研究提出一种可解释的多示例学习框架,通过融合细胞分布与图像特征实现恶性淋巴瘤分型,在 1,233 张全切片图像数据集上达到最先进精度。 方法采用基于混合专家机制提取每个 patch 的细胞图与图像特征,提供区域级和细胞级解释,与病理医生视角一致。 该框架发表于 MICCAI 2025,旨在提升淋巴瘤分类的准确性与可解释性。
研究人员提出 MINT 模型,通过嵌入注入技术将支付网络预训练的交易嵌入与 LLM 结合。 该模型在数百万交易问答样本上完成指令微调,评估了零样本泛化与推理效率。 结果显示紧凑嵌入显著提升预测 QA 精度并降低 token 消耗,但序列化历史在抽取式 QA 上更具竞争力。
研究团队推出首个皮电活动(EDA)基础模型 UME,基于包含 731 名用户、约 23,000 小时数据的 EDAMAME 数据集训练。 UME 作为冻结特征提取器,仅需通用时间序列基础模型 20% 的计算资源,性能即可匹配后者;在下游任务微调后表现进一步提升。 模型权重与代码已开放共享,且性能随预训练数据量增加而提升,揭示了 EDA 信号处理的未来研究方向。
研究提出自适应重参数时间(ART)方法,利用 ART-RL 强化学习策略优化扩散模型采样时的时间步调度。该方法在有限时间步预算下最小化欧拉离散化误差,显著提升了采样效率。在 EDM 流水线中,ART-RL 在 CIFAR-10 等数据集上改善了 FID 分数,且无需重新训练即可迁移至新任务。
研究提出名为 diffusion models with $z$(DMZ)的模型,证明 Diffusion 自编码器(DA)具有未充分利用的生成潜力。 DMZ 采用特定的潜变量选择和条件方法,实验显示其收敛所需迭代更少,且能以更少的去噪步数生成高质量样本。
提出MVC-ZigAL强化学习微调框架,解决少步文生多视角扩散模型在逐视角保真度与跨视角一致性上的质量妥协问题。 该框架包含联合视角奖励的MDP建模、利用自精化采样提升优势学习信号的策略,以及基于拉格朗日对偶约束的多视角优化机制,代码已开源。
研究通过控制变量框架解耦多模态视觉编码设计,发现从头联合训练的编码器与预训练编码器性能相当,预训练视觉先验并非必要。 即便移除独立编码器并扩大主干网络参数,模型在视觉理解上仍落后;将视觉专用模块融入主干早期层可保持同等性能,并降低首字生成时间。 这些结论在不同主干规模及从预训练语言模型起步的场景下均成立,支持在主干早期部署联合训练的专用视觉容量。
Joint Null-Space Projection (JNSP) 提出无数据模型合并方法,在 8 个 CLIP 图像分类任务上将 ViT-B/16 专家模型平均准确率提升至 89.45%,超越 TIES-Merging 11.88 个百分点。 该方法移除任务向量在其他任务子空间中的分量,无需前向传播,但在 RoBERTa-large 上表现低于纯任务算术。
DIAGNO 提出了对角球面神经算子,通过显式参数化跨模态交互核来保留地球动力学的固有非均质性,在流体动力学及真实地球系统再分析数据集的多步预测中持续取得 SOTA 性能。 模型利用球面频谱的独特对角结构设计了带间与带内交互机制,原生捕获纬向与经向动力学规律。 该工作验证了其在气候异常捕获和物理一致性方面的分析价值,已被 NeurIPS 2026 主会接收为 Oral 报告。
GC-MoE 操作针对 RTX PRO 5000(SM120)重构,通过 warp 级 FP8xFP4 块缩放 MMA 实现专家并行解码加速。 在 8 张 RTX PRO 5000 上,该算子比 FlashInfer CuTe DSL W4A8 和 Cake MegaMoE 分别快 1.522 倍和 1.387 倍。
746 名人类参与的研究显示,多元智能体能让公众代表个人偏好影响 AI 政策,比直接向单一 AI 推理模型输入更公平。 智能体影响力受提示词影响,如更详尽或低配合度会增加影响力;参与者满意度恢复基线差距的 68%,公平性恢复 82%。
CBRL 方法在 ViT-L/16 骨干和 10% 下游标签条件下,在四个主要农业测试基准中取得了最高的 macro-F1 单点估计。 在 DeepWeeds 数据集上达到 79.77%,比随机初始化基线高 32.29 点;PlantVillage 达 98.14%,PlantDoc 各方法性能均不佳。 该联合形式是标签受限迁移的有前景候选,但研究未确立统计显著优势。
提出免训练低秩 KV 压缩框架 TraceKV,结合量化实现 5.64× 压缩且近无损推理准确率。 通过统一在线策略校准、敏感度感知 SVD 与全局秩分配,显著降低推理策略 KL 散度。 优化低秩注意力内核带来最高 1.83× 端到端解码加速。
自动评估分数取决于生成器、提示分布及验证器协议。研究在 6240 张 Qwen-Image-2512 和 FLUX.2-dev 生成图像上,比较 MLLM 验证器在不同协议下的表现。
论文提出学习运动与帧外观的生成式耦合先验,以解决视频逆问题中的重建。该先验作为插件式正则化器,通过条件扩散模型学习运动诱导的外观残差分布。 该方法作为扩散视频重建的补充,在动态视频逆问题实验中优于光度一致性基线,并可迁移至心脏 MRI 重建。
Arbor 通过建模标签粗化过程,在 Cars、CUB 等数据集上将 90% 粗标签场景下的新类图像正确归入超类的比例提升至 76-85%,优于层级分类器及 Elkan-Noto 修正。
研究人员提出兼容NISQ设备的多头量子神经网络,可将Qwen3-30B-A3B-Instruct-2507中连续8个Transformer块替换为含145,281个可训练参数的量子模块,置换16.33%的模型参数。
MAST框架针对多模态大模型(MLLM)中激活引导方法的跨任务干扰问题,提出了一种无训练、输入自适应的激活引导方案,MAST-PR版本较MAST平均提升8.09分。 该方法通过任务内多中心聚类选取质心,在推理时路由至多个质心并提取低秩局部引导方向,经跨聚类聚合生成最终引导向量。 该框架旨在解决全局激活均值落在簇间空白区域导致的性能不稳定问题。