跳到正文
10月16日周五
  1. arXiv · ML21

    KNOU-Flood:利用感知提前期的概率机器学习推进全球径流预报

    KNOU-Flood 基于单层 LSTM 和两阶段训练,在 2099 个测试流域中实现领先期 10 天的 KGE' 中位数为 0.48,优于 AIFL 基线的 0.34。 模型引入 GraphCast 作为第二预测源,采用 424 天输入窗口和潜噪声集成,在 1.5 年和 2 年洪水检测中优于所有基线。 研究证实 AIFL 报告的领先期衰减部分源于输入协议影响,概率头对性能提升贡献最大。

  2. arXiv · AI30

    DMAD: 作为对抗蒸馏的分布匹配加速视觉生成

    DMAD 将分布匹配重构为对抗分类,利用共享骨干网络的双判别器直接学习对数密度比,避免了辅助扩散模型拟合的额外内存与计算开销。该方法在 ImageNet-64x64 上以单步生成达到 FID 1.04,在 COCO-10K 上四步 SDXL 生成 FID 为 14.47。在 MiniMax-H3-33B 模型上,其四步学生模型在音视频联合生成的人均偏好率上超越 DMD2 和 rCM。

  3. arXiv · AI27

    PAWA:面向多智能体动作条件化全景世界建模的数据集与框架

    PAWA 提出了一个支持多玩家动作条件化全景世界建模的数据集与框架,其分布式管线可扩展至 64 名以上同步玩家,无需重放游戏即可重新渲染。 该框架采用双塔模型,通过跨注意力机制在共享世界坐标系下对齐同向观察的 token,并利用二次相位玩家编码提升嵌入维度效率。 实验表明 PAWA 在 POV 预测质量上优于最先进模型,且数据集与采集管线已开源以支持后续研究。

  4. Hugging Face Blog67

    NVIDIA 发布 Nemotron-pretraining-Indic-v1 与 2.8 万亿 token 印度语开源预训练语料

    NVIDIA 与 IIT Madras 的 AI4Bharat 实验室联合发布 Nemotron-pretraining-Indic-v1,提供覆盖印度宪法所列 22 种语言的约 2.8 万亿 token 预训练语料,并同步开源 GPU 加速的合成数据生成管线。

    推荐理由:2.8万亿token的印度语开源预训练语料与可复用的数据生成管线同步开放,给多语言模型开发者提供了直接可用的训练资源和扩展方法。

10月15日周四
  1. arXiv · ML27

    提出对称性兼容优化器设计原则:适用于 Embeddings、LM Heads、SwiGLU 及 MoE 路由

    论文提出对称性兼容优化器设计原则,使梯度更新规则在权重块对称群下保持等变,弥补 Adam 等优化器忽略对称结构的缺陷。 该原则推导出针对 embedding、LM head、SwiGLU MLP 及 MoE 路由矩阵的专用更新规则,涵盖谱、行范数及混合等变类型。 预实验显示,在 Qwen3-0.6B 等模型上,该优化器比 AdamW 更有效地降低验证损失、缓解专家负载不均衡并提升训练稳定性。

  2. arXiv · ML21

    TimeES 利用演化谱理论实现非平稳时间序列的概率与确定性预测

    TimeES 框架基于演化谱理论,将非平稳随机过程建模为随机变量调制的演化表示,在确定性与概率预测任务中均达到 SOTA 水平。 该模型利用 Hermitian 对称性和频谱能量稀疏性,将频谱估计复杂度从 O(NM) 降低至 O(NK)(K << M/2)。 代码已开源,论文被 NeurIPS 2026 接收为 Poster。

  3. arXiv · ML21

    HARP: 高效筛选数据以微调大语言模型

    提出层级主动区域剪枝(HARP)方法,这是一种基于训练的选集器,在保持下游目标对齐的同时降低选择成本。在3个基础模型、3个微调数据集和4个推理基准(共36种设置)中,HARP在23种设置中达到最高准确率,平均准确率为64.2和63.5,高于最强基线NICE的59.3。HARP-C用约比预算基线少9倍的示例、比全量微调少75倍的示例进行训练,在更高平均准确率的同时实现了更小平均训练集规模。

  4. arXiv · NLP39

    SWE-Spot: 基于以仓库为中心学习的专用小型代码专家

    论文提出以仓库为中心学习(RCL),训练 4B 参数小型模型 SWE-Spot-4B,在七个目标代码库上性能优于同等预算的以任务为中心学习(TCL)模型。 该模型性能可比肩或超越 Meta CWM、Qwen3-Coder-30B 等 8 倍参数量的开源模型,以及 GPT-4.1-mini 等商用效率模型,并具备更高的训练与推理效率。

  5. arXiv · ML21

    在线分词算法实现近线性时间与最优延迟

    该研究提出一种在线分词算法,在保持输出延迟最优(至常数因子内)的同时,实现了近线性时间复杂度。 算法基于 P≠NP 假设确立了条件性下界,表明无法在常数因子内超越该延迟。实测显示,该算法在首 token 延迟上比 tiktoken 快 7.9×–34.8×,吞吐量提升 2.4×–7.0×,且内存占用保持近似恒定。

  6. arXiv · NLP29

    Arafa:首个大规模阿拉伯语事实核查数据集

    该研究推出首个现代标准阿拉伯语大规模事实核查数据集 Arafa,包含 181,976 个“陈述–证据”样本,按支持、反驳或信息不足三类标注。 数据由 LLM 驱动流水线生成,自动校验环节对支持类事实的准确率为 86%,人工评估的 Cohen's Kappa 值达到 0.89;开源 Transformer 模型在其上微调后的最高 Macro F1 分数为 77%。

  7. arXiv · NLP29

    DeepRubric:通过证据树评分标准提升深度研究智能体强化学习效率

    DeepRubric 提出一种数据构建框架,通过构建证据树反向生成查询-评分对,以确保强化学习奖励精准匹配任务需求。 该框架构建 9K 训练样本,采用评分标准引导的 GRPO 训练 DeepRubric-8B,在三个基准上媲美开源 SOTA 模型。 训练过程仅需约 1/13 的强化学习 GPU 小时,显著提升训练效率。

  8. arXiv · NLP35

    QuantEval: 面向金融量化任务的大语言模型评测基准

    QuantEval 发布 1,575 个专家验证实例,涵盖知识问答、数学推理及策略编码,通过 CTA 风格回测框架评估 LLM 在量化金融中的计算-实现-验证闭环。 该基准测试了 13 款开源及专有 LLM,结果显示模型在长程推理和受限编码上显著落后于人类专家,且监督微调在提升推理能力的同时削弱了事实回忆。 数据集、评测脚本及完整回测配置已开源,支持 LLM 量化金融研究的复现。

  9. arXiv · NLP45

    LLM 脑腐:Twitter/X 数据持续预训练对大语言模型认知的退化影响

    持续在 Twitter/X 低质数据上预训练会导致 4 个 LLM 在推理、长上下文理解及安全性上显著退化,Hedges' g>0.3。 在 M1 指标下,随低质数据比例升至 100%,ARC-Challenge CoT 分数从 72.1 降至 57.2,RULER-CWE 从 83.7 降至 52.3。 结果表明数据具有因果性影响能力衰减,建议对部署中的 LLM 进行常规认知健康检查。

  10. arXiv · ML25

    Transformer 在无限输入下的训练动力学:注意力学习滞后于输出层学习

    研究表明,浅层 Transformer 在识别无界长度星无关语言时,简单的两步梯度特征学习理论失效。 Transformer 需经历三阶段梯度下降:先更新输出层,再更新注意力层,最后微调输出层;单独训练某一层或单步注意力更新均无法完成语言识别。 该“注意力学习滞后”机制在语言识别、回归及上下文学习等其他任务中同样有益。

  11. arXiv · ML23

    Muon 优化器在有限 Newton-Schulz 迭代下的隐式偏差:从谱范数到 Frobenius 范数

    理想化的 Muon 优化器具有谱最大边距隐式偏差,但在实际实现中,使用有限 Newton-Schulz 迭代和正稳定常数会导致其选择 Frobenius 最大边距方向。 研究通过可求和扰动论证证明,这一行为在指数移动平均和 Nesterov 动量下均成立,参数轨迹与梯度下降保持有界距离。 发现 Muon 可通过令 Newton-Schulz 迭代次数随训练对数增长,重新恢复其谱最大边距偏差。

  12. arXiv · NLP27

    面向多模态大语言模型空间推理的数据驱动综述

    该综述聚焦多模态大语言模型空间推理的后训练方法,重点分析微调所用数据集。研究将现有工作划分为数据集设计、构建与评估三类。 综述归纳了固定空间标注的四种构建方法:规则模板、LLM 提示、程序化生成及人在环路。 文章指出统一动态标注、评估标准化及高效推理是未来关键研究方向。

  13. arXiv · NLP24

    COUNT:通过统计 N-grams 解锁主机内存扩展与免训练适应

    研究者提出 COUNT 方法,通过存储预计算的 n-gram 计数实现 LM 在主机内存上的扩展,无需额外学习参数。 在固定计算预算下,为 1B 参数 LM 添加 COUNT 作为输入嵌入,其验证损失改善效果相当于增加 57% 算力的 LM。 该方法允许在推理时切换领域语料的 n-gram 计数表,实现无训练的领域适应,且在 GPU 内存受限时优于增加学习嵌入的方法。