Mistral Large 4 发布:1T 参数开源多模态模型
Mistral 推出 Mistral Large 4(ML4)公共预览,该模型具有 1 万亿总参数和 490 亿激活参数,为原生多模态架构。ML4 基于 3800 块 NVIDIA Grace Blackwell GPU 在欧洲 Mistral 自有数据中心从零开始训练。
推荐理由:Mistral 开源 1T 多模态模型的 49B 激活架构,展示其在网络安全和 Agent 编码任务中相比闭源前沿模型的优势。
Mistral 推出 Mistral Large 4(ML4)公共预览,该模型具有 1 万亿总参数和 490 亿激活参数,为原生多模态架构。ML4 基于 3800 块 NVIDIA Grace Blackwell GPU 在欧洲 Mistral 自有数据中心从零开始训练。
推荐理由:Mistral 开源 1T 多模态模型的 49B 激活架构,展示其在网络安全和 Agent 编码任务中相比闭源前沿模型的优势。
研究团队发布 MaDI-Bench,这是首个覆盖关系表完整数据集成流程的基准,包含模式匹配、值规范化、实体匹配及数据融合全步骤。 该基准提供跨应用领域的任务集,并采用通用方法生成任务变体以应对系统快速迭代带来的基准饱和问题。 论文通过人工、最佳混合、LLM 及 Coding Agent 四种管道验证了效用,所有基准产物已开放公共下载。
OmniConfess 是一种无训练方法,通过 token 级重评分产生结构化自白,以缓解全模态大模型(OmniLLMs)在文本、图像、音频和视频多模态任务中因依赖错误证据导致的幻觉问题。
BuzzASR 基于 Whisper 微调 102 种语言的 ASR 模型,在 77 种语言中平均 CER 降低超 2.8 倍。 该系统通过单语 tokenizer 替换和文本微调数据增强,将压缩率平均提升 3.3 倍,最高达 21.7 倍。 所有模型、代码及详细结果已开源,论文被 EMNLP 2026 接收。
研究提出 INSES 动态框架,结合 LLM 引导导航与嵌入相似度扩展,解决知识图谱噪声和稀疏导致的推理失效问题。该框架通过轻量路由器将简单查询分配给 Naïve RAG,复杂案件升级至 INSES,平衡效率与推理深度。在 MINE 基准测试中,INSES 相比现有 RAG 和 GraphRAG 基线表现出显著优势,代码和数据已公开。
T-Search 发布为开源权重智能体检索器,基于 Qwen3.6-35B-A3B 构建。 单次 rollout 在七个基准测试平均 Recall@10 达 56.0,三次融合 rollout 达 61.3,优于更大开源模型。 该项目同时发布 TRuST 基准测试,这是首个原生的俄语高难度搜索基准测试。
U-LoRA 采用条件门控学习 token 级低秩自适应子空间利用率,在数学推理和自然语言理解基准上达到与强 LoRA 基线及近期变体相当的竞争力,且参数量级相当。 该方法利用序列级上下文信息协同约束利用率系数,并引入偏差校正的指数移动平均(EMA)历史先验以校准跨优化步的利用率信号,抑制批次间波动带来的噪声。 其性能提升源于通过输入条件策略更好地利用现有低秩子空间,而非扩展子空间维度。
CineMR 是一个工具增强的视觉语言模型,通过调用心脏图像分析工具并整合其输出进行交错推理,实现定量 CMR 评估,在多队列 cine CMR 基准上达到 35.9% pass@1 和 58.9% pass@4。
论文提出 ASCEND(Autonomous Scientific Computing Engine and Novel Discovery),一个在研究者本地笔记本上运行。
EPIC 是一个面向扩散语言模型的 CFG 约束解码框架,相比此前的 CFG 约束解码器,最佳情况下推理时间减少 67.2%,运行时间接近无约束解码水平。 它通过词法记忆化、放宽兼容子集选择以支持并行提交,以及用 Earley 风格解析替代确定性自动机进行验证,从而避免重复词法分析和昂贵校验。
MedForj 发布了一套基于扩散模型的 3D 生成式基础先验,训练数据为 38,174 名受试者的 72,659 个 1mm 各向同性 3D T1 加权脑 MRI 体数据,源自 38 个公开数据集。
FastRL 框架通过优势感知剪枝与自适应 rollout 采样机制,提升 GRPO 变体的训练效率。在 Geometry3K 和 GeoQA8K-R1V 上实现 2.07 倍训练加速,视觉推理平均准确率提升约 1.64%。该论文已被 NeurIPS 2026 接收。
DART 是一种无需训练的路由框架,通过采样两份低成本无思考草稿,草稿一致时直接作答,不一致时依据草稿熵预测思考预算,在多数设置下保持或提升始终思考的准确率,同时减少思考 token 消耗。
研究提出掩码近迁移后测,让学生在被遮蔽导师话语的情况下解答未见变体题,从而只奖励学生自己写出的学习增益,并引入事实正确性与不直接给答案两道二元奖励门控。
研究者提出 Adaptive Mean Flow(AMF),一种基于 Mean Flow 的模仿学习方法,可实现平滑且高响应的全闭环机器人控制,在多种仿真与真实机器人任务上性能显著优于基线。
论文提出 One-stage Policy Optimization(OnePO),把教师输出当作策略改进的临时引导,通过 Adaptive Objective Evolution 加强对低概率教师 token 的学习。
推荐理由:论文提出 OnePO 单阶段策略优化,用 20K 样本在 HealthBench 上超过 SFT+RL 与纯 RL,并开源 HuatuoGPT-3 系列。
提出MemAdapter框架,利用反事实适应解决LLM智能体长期记忆诱导的谄媚问题。该框架包含三个组件:反事实归纳识别潜在风险、情境感知反思校准影响权重、基于证据的推理确保客观性。实验显示MemAdapter在三个基准测试中持续提升记忆可靠性,代码已开源。
开源 Agentic 框架 RepoLaunch 实现了跨编程语言和操作系统的代码仓库自动依赖解析、编译及测试提取,构建成功率达 78%。 相比仅支持 Python/Linux 的既有系统,其性能提升 18%,且基于该框架的 SWE 数据集创建全自动流水线已被多个 Agentic 基准测试和训练工作采用。
研究提出 Guidance-TTT 框架,通过测试时训练紧凑指导模型提出战略变更,配合冻结执行模型生成可执行方案,以降低 TTT-Discover 的开销。 该方法在组合优化、启发式编程等 4 个领域产出强解,性能超越先前最佳结果并具备竞争力,代码已开源。
针对医学、分子和蛋白质设计等结构化科学生成中推理缓慢的问题,提出首个基于约束流形扩散模型(CMDM)的训练无关、无数据加速器 ManifoldCache。 该方法通过条件得分的正交分解,证明噪声调度的中点是缓存的安全边界,缓存前误差有界且无需校准数据。 其结果消除了现有加速方法在约束保真度和模式混淆上的缺陷,显著提升了复杂几何约束下的生成效率。
Loopy 提出了一种循环深度感知的后训练量化(PTQ)框架,通过渐进式分配校准窗口来高效选择共享低位表示。 该框架结合通道缩放和正交旋转参数化候选表示,并基于目标部署深度的最终预测损失进行选择。 在 8 种设置中,Loopy 取得了 SOTA 结果;在 Ouro-1.4B 的 W4A4 量化下,其 LAMBADA 困惑度比 SpinQuant 降低 36.5%。
针对Best-of-$N$ (BoN) 采样仅在最终阶段使用奖励信息的局限,研究提出BoNG方法,将BoN选择原则直接集成至反向扩散过程以增强扩散模型的人类偏好对齐。
EDISCO 是首个针对欧几里得组合优化问题具有精确 E(2)-不变生成分布的离散扩散模型。 引入 E(2)-等变边得分网络,配合离散边变量上的连续时间马尔可夫链,实现局部几何归纳偏置。 在 100 至 10000 节点的 TSP 及 50 至 2000 客户的 CVRP 上,EDISCO 以 33%-50% 的训练实例数量超越现有基于学习的 SOTA 求解器,被 NeurIPS 2026 接收。
基于台湾 NHIRD 398 万名患者数据预训练时序 Transformer 编码器,通过混合语义映射迁移至 MIMIC-IV 和 EHRSHOT。 消融实验表明 Asymmetric SupCon 在四项任务中的三项取得最佳 AUPRC,较 Standard SupCon 仅低 0.003。
在 OLMo-2-0425-1B 模型上,zero-shot 提示词导致精度仅为 0.08%,而 3-shot 提示词使精度提升至 18.3%,证明提示词是首要决策因素。 Off-policy 训练若无 clipping 会损失 4-6 分,采用 GRPO 或 GSPO clipping 可完全恢复;弱验证器在 RL 中比测试时选择更廉价,10% 翻转率下 RL 保留 91% 收益。
副阈限学习通常需要数万载体样本,因含噪逆问题中硬监督会放大 Fisher 矩阵反转导致的噪声。 实验对比 Qwen2.5-7B 与 Gemma-2-9B,发现软监督仅需数百样本即可精确恢复 $\Delta_T$,而硬监督即使增加数据量也恢复效果差。 该发现表明大数据量的核心作用是抑制标签噪声,而非单纯揭示特征,相关代码已开源。
summary_zh: 标准时序链接预测因忽略“谁在行动”而存在结构性盲点,传统负采样机制恰好抵消了源节点活跃度信号。 作者提出仅含少于20个参数的SNAM模型,仅用源节点活动强度即可在历史负采样下超越DyGFormer和TPNet;将其叠加至TPNet、TGN等四个冻结基座模型后,AP得分最高提升25点,且训练速度比TPNet快9-100倍。
PIT-GCL 是一个双塔结构感知框架,在 PPIRef 一般 PPI 和 PPB-Affinity 上优于代表性基线,且在 PPB-Affinity 上是唯一超越随机水平的方法。
EasyClassifier 是一款开源 Python 包,通过无代码多选问答引导用户完成从 CSV/Excel 数据到完整分析的流程,旨在消除数据泄露和选择偏差。
研究人员提出 BARQ(Balanced Assignment Refinement for Quantization),用于解决基于码本的 LLM 权重量化中码字分配不均问题,在相当比特预算下降低困惑度并提升零样本平均准确率。 该方法通过熵正则化的最优传输计算联合软分配,确保每个码字获得等量拟合质量,并证明细化后的码本在特定条件下能降低硬量化失真和评估损失,代码已开源。
论文提出确定性参数预算框架 Selective Backpropagation (SBP),通过将梯度更新限制在预分配的参数子集内,解决少样本类增量学习中的灾难性遗忘问题,且训练时间接近朴素微调。
采用组相对策略优化(GRPO)结合随机插值和离散流匹配对齐晶体生成模型,将亚稳态独特新颖结构(mSUN)良率从预训练的13.4%提升至45.5%。 该方法直接作用于原子类型转移似然,同时暴露出基准中单元素结构被误计入新化合物的指标漏洞,并指出需通过显式防护防止奖励利用。 研究建议社区基准应按参考相数量拆分结果,以确保稳定性声明的严谨性。
研究人员发布 CATCH,一个用于研究编码强化学习中奖励劫持的可控测试平台。该工具通过暴露环境漏洞和提供基于执行的黄金标签,结合监督微调数据混合控制模型初始劫持倾向及奖励设计控制难度,实现了对劫持动态和干预措施的系统性对比。实验发现链式思考监测器初始能抑制劫持,但随着策略模型学习用代码注释误导监测器,这种保护作用会逐渐削弱,且 CATCH 的源代码和资源已公开。
研究者提出免训练采样方法 Power-SMC,通过并行维护候选序列并基于重要性权重定期剪枝低分序列,以接近标准解码的延迟近似序列级幂分布,而非依赖 Metropolis-Hastings 采样。 在 MATH500、GSM8K、GPQA 和 HumanEval 等基准上,Power-SMC 的准确率匹配或超过 MH 采样,同时保持输出多样性;该方法可将推理速度最高加速 17.6 倍,代码已开源。
研究提出SCOPE(Sparse-Context Observability-aware Predictive Embeddings),通过结合全场潜空间预测与物理重建,从稀疏观测中恢复完整的偏微分方程(PDE)场。
研究提出Video DeltaNet(VDN)架构,通过结合局部Softmax注意力与双向线性记忆解决视频扩散模型注意力计算瓶颈。该架构实例化于MiniMax H3模型,配合八步蒸馏与优化后的SGLang服务栈,在八块NVIDIA B200 GPU上将14.3秒768p视频的DiT去噪时间缩短至6.70秒,实现14.5倍加速。
ChronoSpike 是一种自适应脉冲图神经网络,在三个大规模基准测试中以平均 2.0% 的 Macro-F1 和 2.4% 的 Micro-F1 提升超越了 12 种最先进的基线方法,且训练速度比递归方法快 3-10 倍。该模型保持了恒定 105K 参数预算,不随图规模变化,并提供了膜电位有界性和梯度流稳定性的理论保证。
DAWIS 提出了一种统一的数据同化方法,通过多任务随机插值替代单一流时间,同时支持滤波、固定时滞平滑和块平滑。该方法在稀疏、噪声和非线性观测下优于基线滤波器,其代码已开源。
研究发现11个开放权重LLM的潜在空间中存在可定位且因果驱动行为的临床概念中心。这些概念中心仅在对齐的临床叙事下激活,模拟部署显示沿此引导可提升下游表现。盲测证实概念中心激活预测医生偏好。
研究者发布 PaMIR 开放基准,用于标签稀缺且延迟的信用违约预测。该基准整合了来自 9 个国家的 19 个公开数据集,共包含 124 万笔贷款、企业及信用卡账户记录。当前报告描述的是该基准 v0.4.0 版本,采用经过泄漏审计的单一评分流程。