基于广义 Laplace 活跃子空间的神经网络可扩展不确定性量化
提出基于少量数据驱动曲率方向的低秩广义 Laplace 近似方法,用于神经网络不确定性量化。 后验方差在保留子空间内有闭式解,且通过经验贝叶斯校准先验方差。 标准缩放导致后验方差收缩,而平均损失缩放能生成更稳定、校准良好的预测置信区间。
提出基于少量数据驱动曲率方向的低秩广义 Laplace 近似方法,用于神经网络不确定性量化。 后验方差在保留子空间内有闭式解,且通过经验贝叶斯校准先验方差。 标准缩放导致后验方差收缩,而平均损失缩放能生成更稳定、校准良好的预测置信区间。
针对 LLM 智能体在投资组合管理中信用分配失真导致表现劣于等权重策略的问题,MemTrial 提出通过“记忆审判”机制修正信用分配。 该方法利用分数阶试验设计生成 8 种决策草案,基于 Banzhaf 值计算经验贡献,并借助分层贝叶斯模型跨日期池化以过滤噪声。
提出 ZIP-SR 和 ZE-EDEN 方法,重新设计 AdamW 4-bit 优化器状态量化,在 GPT 和 Llama 系列 130M 至 2.7B 参数预训练实验中,将 TorchAO 4-bit AdamW 相对 32-bit 的平均验证损失差距最高降低 70%。
AdaptLSTM 提出一种通过验证校准阈值检测分布漂移并实施选择性更新的高效在线学习框架,适用于云负载预测。 在 Alibaba Machine Trace 数据集上,该方法以 20% 的成本恢复了 Naive Online 54% 的性能提升,效率提升 2.7 倍;在 Container Trace 上达成 96% 恢复率,效率提升 4.8 倍,MAE 降低 75%。
AtomWorld-Mirror 提出一种时间感知宏观步世界模型,用于原子系统关键演化骨架模拟。 该模型将短微观事件蒸馏为关键状态间可达转移,通过潜在宏观动力学联合预测结构编辑与物理时间。 在 Cu-Zr 金属玻璃等五个原子系统中,宏观步推理较逐事件模拟实现 $10^3$ 至 $10^4$ 倍加速。
研究系统分析了适应、聚合和上下文构建三种测试时计算机制对表格基础模型预测的影响。 DiagScale 仅训练模型 0.003-0.03% 的参数,其增益可与全量微调相比。在 96 种配置的聚合中,贪心选择使误差相对降低 2.4%,但均匀平均反而增加误差。 适应和选择性聚合带来一致的基准层面增益,且二者结合可进一步提升效果。
summary_zh: DivMoE 提出首个实现细粒度 MoE Upcycling 且具备结构平衡路由的框架,解决了单一源模型派生专家导致的路由崩溃与精度退化问题。
DADP 通过测量突触前激活与突触后误差梯度乘积来动态分配稀疏度,无需逐层固定稀疏预算。在 ResNet-18 上实现 99% 稀疏度时保留 73.67% 准确率,优于 Magnitude 和 SNIP。 该方法在 MLP、VGG-16、ResNet-18、BiLSTM-CRF 和 MiniBERT 架构上验证了性能,并通过香农熵确认极稀疏下特征多样性未崩塌。
研究者提出谱权重衰减方法,通过在LLaMA模型中应用核范数更新来降低有效秩。在500M参数模型及4%失真预算下,该方法实现1.89倍压缩和1.18倍GPU推理加速。在60%标签噪声固定训练下,方法在MNIST上提升17.8个准确点位。
QuotientPO 将等效修复折叠为规范机制,在商空间直接优化探索,在 2,212 个保留 GEM 上将 Success@32 从 17.93% 提升至 20.10%(相对提升 12.1%)。 该框架推导了核化 Rényi 估计器以解决修复核心间的分级拥挤问题,并在相同采样预算下持续增加不同成功核心的发现。 这一方法确立了商空间探索作为在验证器诱导等价条件下进行机制级探索的原则性路径。
研究提出 PF-LSA 算法,实现个性化联邦线性随机逼近在未知异构度下既达成线性加速又保证个性化收敛,无需额外计算成本。 该算法通过混合本地随机更新与跨智能体平均更新,基于误差分解证明共识误差快速衰减、异构误差在低异构度下可忽略,确立 best-of-both-worlds 保证。
受控预训练研究发现,合成数据对下游代码能力的转移存在条件性价值。 实验显示,75% OpenCodeInstruct 混合比例下 HumanEval pass@20 达 22.6,而自适应调度器因优化短期损失导致性能落后 2.4–11.0 个百分点。 优化近期任务损失会将混合比例移离具备转移效应的区域。
研究表明,总体梯度流可能定性误判有限批量随机梯度下降(SGD)行为,根源在于 ReLU 门控单元间的罕见分歧。 在双单元 ReLU 回归中,当预训练时间 $T$ 大于 $\log(b/\eta)$ 时,在线 SGD 在 $e^{c/\eta}$ 规模内以高概率失败,而梯度流仅需线性于 $T$ 的时间恢复。
Zatom-2 发布,作为在约500万条OMol25和OMat24数据集上预训练的原子生成模型。 该模型采用多尺度Transformer架构与条件流匹配,在分子分布保真度和现有分子/材料生成基准测试中表现优于Zatom-1。 通过联合生成-预测预训练及微调,Zatom-2将蛋白质骨架可设计性从67.8%提升至74.8%,增强低数据场景下的蛋白质生成能力。
研究人员提出一种结合输入窗口压缩与残差时间特征融合的轻量级时序模型,用于低成本传感器校准。 模型基于涵盖五个地点、为期六个月的室内空气质量数据集构建,在四种评估场景下均表现出优异的校准性能。 该方法有效解决了传统成对校准忽视时空异质性的局限,并在边缘端推理中保持低成本。
发布基于滴滴市场数据合成的大型网约车时间序列数据集 Ride-Hailing 及基准 RideBench。 该数据集覆盖 200 个空间区域、4 年数据及 3 类外生场景,RideBench 评估 30 余种预测方法,支持长达 2,688 步的预测。 研究发现现有模型在利用未来已知外生信息及长期预测方面存在明显不足,需提升跨异构区域扩展能力。
研究提出基于动态系统(DS)的模型压缩框架,将高维参数编码为DS轨迹索引。证明在Diophantine条件下,有限轨迹可构成权重空间ε-net,统一了Hilbert曲线、Lorenz系统等四类DS。
研究提出 SVC 方法,通过选择性更新奇异向量通道来优化 LLM 持续学习,兼顾新能力获取与预训练知识保留。 该方法利用膝点成本筛选、Pareto 前沿过滤和 Otsu 阈值化,基于适应收益与遗忘成本自适应选择可训练通道。 在四组 LLM 家族和八个下游任务实验中,SVC 相比现有 PEFT 基线在保留预训练能力的同时实现了强劲的下游性能。
研究提出谱向目标 Muon,通过设定阈值 τ 仅对大于或小于该值的奇异值进行正交化,在 CIFAR-10 和 NanoGPT 基准上验证了其有效性。该优化器利用牛顿-舒尔茨迭代在平移 Gram 矩阵上计算投影,无需 SVD 即可隔离目标奇异子空间。
KDFP 是一项新的白盒知识蒸馏方法论,用于在大型语言模型中提取通用知识。 在 9 个基准测试中,该方法性能提升 1.6% - 4.9%,同时训练效率最高提升 99.1%。 KDFP 有助于开发可在边缘设备部署的高效、隐私系统。
MotherTree 是一种表格 Transformer,它通过元学习生成独立可审计的硬轴对齐决策树。 该模型在无参考树监督下,于合成先验分布上进行预训练。 在受控样本量的基准测试中,该模型始终优于从头开始的梯度学习,并作为强大的初始化器提升任务特定调优表现。
summary_zh: Phase-HDC 方法通过仅在梯度足够大时按符号更新参数,取代了传统优化器的历史记录。在 11 个图像、表格和文本数据集上,该方法比标准 float32 Adam 少存储 16-23 倍内存,比 8-bit Adam 少 4-6 倍。
激活探针训练所需合成样本量由概念覆盖率决定,而非生成难度。 在高利害和有害回复概念下,Gemma-3-27B-IT 探针仅需 80 个样本即可接近性能上限。指令遵循类探针需要的样本量显著更多,差异主要源于不同类别样本间的迁移能力差异。
共享学习率对比不同可训练参数量的微调方法会制造假象,掩盖真实效果。 修正此偏差后,冻结解码器并仅微调编码器的方案可节省3倍可训练参数及优化器状态内存。 该方法作为低内存替代方案,用于在训练时改造低秩KV缓存压缩。
Meddies-PII-Model 在15个外部基准上取得最高性能,平均 F1 为0.827,强于最强基线的0.658。 该模型基于包含100万份合成临床文档、覆盖17种语言的 Meddies-PII-Dataset 训练,数据通过13个确定性门控验证。 团队承诺在论文被接收后,公开发布数据集、模型及生成框架,以支持多语言临床去标识化研究。
论文提出 Capability-Driven Multimodal Scaling Law 框架,利用 LLM 文本能力预测 VLM 基准准确率,无需训练即可预测。 通过 34 个 LLM 训练 150+ 个 VLM,在 250+ 个基准上验证,能精准预测不同参数规模及未见过的模型家族表现。 该框架将骨干模型选择从低效的经验扫描转变为量化的科学决策,并揭示基准作弊现象。 ```
针对固定算力预算下的 Transformer 视觉语言模型,研究发现最小目标损失遵循可预测的计算法则,而计算最优的模型规模与 token 数量呈幂律分布。语言与多模目标呈现不同分配趋势,多模态模型分配指数随多模态 token 比例增加而适度下降,转向 token 分配。下游评测显示,原生多模态预训练能提升空间推理能力并改善多模态少样本学习表现,为多模态基础模型的可预测缩放奠定实证基础。
研究者提出 LoRi 低秩蒸馏框架,在 LLaMA 和 Qwen 模型族上显著提升数学推理性能,接近显式 CoT 准确率并优于既往隐式方法。 方法基于隐藏状态推理轨迹的低秩结构,利用一阶和二阶统计量对齐师生轨迹于共享低秩张量子空间,适用于多步骤困难任务。
针对同行评审质量下降的普遍观点,新研究对 ICLR、NeurIPS 和 *ACL 等主要 AI 及机器学习会议进行了跨时间分析。 研究提出了结合 LLM 和轻量级度量的多维量化框架,结果显示中位评审质量在不同年份并未出现一致下降,否定了质量衰退的流行叙事。
Fair-GPTQ 提出首个显式降低大语言模型不公平性的量化方法,通过为量化目标添加群体公平性约束实现。该方法在处理职业偏差、性别、种族和宗教歧视性语言时,保持零样本基准测试至少 90% 的准确率,同时保留 4-bit 量化的内存和速度优势,已获 TACL 接收。
研究团队提出 GAP 方法论,通过表面重命名和内核重写生成数学等价变体,以诊断 LLM 推理失败原因。 在 PutnamGAP 数据集上评估 18 款模型,发现准确率随变换类型下降,内核重写导致最大性能缺口,且强模型未能弥合该差距。 这表明最强 LLM 的核心弱点在于将证明计划迁移至新的数学背景,而非处理表面符号变化。
针对 LLM 深度扩展中插入新层导致的神经元排列失配问题,本文提出 Optimal Transport Depth Up-Scaling (OT-DUS) 方法。 该方法利用最优传输(OT)理论逐模块对齐并融合功能对应的神经元,在通用与特定领域的持续预训练及监督微调中表现优于现有方法。 分析显示,将新层插入较高位置不仅能提升模型性能,还能改善训练效率。
WOVEN 训练源和基准通过 36,076 个实例组织视觉过渡监督,发现 38 个前沿 MLLM(如 GPT-5.4)存在系统性缺陷,最强模型仍远低于人类水平。
针对长尾分布下预训练模型对罕见概念支持不足的问题,提出 PASS 自适应指令选择方法。 该方法根据先验障碍动态分配有限预算,在 4 种骨干预算设置下表现优于 7 种 SOTA 方法。 消融实验证实自适应分配显著优于均匀分配策略。
UniData 提出了一种将简单用户需求转化为多轮多模态指令的通用生成管线,并构建了包含 20,000 条数据、覆盖九种模态的 UniDataset。 管线通过多事件扩展及 any-to-any 大模型整合生成指令,并利用轮次相关性修正无关与冗余推理流程。 实验显示 UniData 在数据质量上达到 SOTA 性能,并提升了其他多模态模型的理解与生成能力。
summary_zh: Attic-KV提出一种训练无关的KV缓存压缩方法,通过让模型自问自答来“排练”即将读取的内容,而非重读全部上下文。 该方法在RULER和LongBench基准上表现优于重读法,在3%保留率下相比全量重读提升41.9分,并能提升KVgrad和RestoreKV+的性能。
小米团队发布 MiMo-V2.6 系列多模态模型技术报告,通过大规模强化学习提升模型智能边界。该系列基于混合-SWA 架构进行中期训练,并在三维方向扩展 RL 算力:每步消耗 1,568 样本及 2.7-3.7B token(支持 1M 上下文)、覆盖代码/通用/视觉/网络领域的复杂环境,以及通过组式智能体评分生成更准确的奖励信号。
DIAL-OPD 提出一种基于对数均值权重筛选 Token 的在线策略蒸馏方法,仅保留 40% 的 Token 即可超越全量 Token 的 Vanilla OPD。
研究提出 MH-INDIC 框架,通过十维母体健康推理标准评估 10 款 LLM 在印度北部的文化对齐度。 基于 102 名女性调研,发现所有模型在人口统计与家庭画像上的行为变异度均显著低于真实人类群体。 人类接地提示(human-grounded prompting)能生成更强的文化对齐对话,证实文化画像可用于改进生成质量。
提出无需训练的 SFT-as-Context 方法,利用父模型将 SFT 模型响应作为上下文进行回答,在保留通用能力的同时获取微调后的专项能力。在 19 对父子模型和 11 个基准测试中,该方法在 AIME 2024 和 LiveCodeBench 上与 SFT 模型差距仅为 2.2 和 2.1 个百分点,通用能力平均差距保持在 2.2 个百分点以内。