跳到正文
11月9日周一
  1. arXiv · ML32

    e-means:在十分之一轮次内超越 k-means

    论文提出 e-means 算法,采用指数移动平均优化 k-means 小批量更新。该算法在 1.4 至 2.6 个 epoch 内达到 Lloyd k-means 25 个 epoch 的损失水平,实现 10-45 倍 GPU 加速。 示例显示 e-means 仅需 2.5 个 epoch 即可将 100 亿个 DINO embedding 划分为 1600 万个簇。

  2. arXiv · ML23

    TDC ADMET 基准中校准不确定性量化方法解析:22 个数据集可解决哪些问题?

    研究在 22 个 TDC ADMET 数据集上对比了 11 种校准不确定性量化流水线,旨在评估基准的可分辨性。 采用嵌套五折交叉验证,MC dropout 平均排名最佳,但 TDC 性能上未显著优于其他集成方法,LightGBM 在部分指标未落选。 小型评估易得出不同结论,需通过多化学分割的统计检验校验比较声明。

  3. arXiv · ML31

    统计物理视角下的深度学习理论专题综述

    该综述系统阐述如何借用统计物理语言,如平均场、相变和自由能景观,解释深度网络在高维非线性系统中的学习与泛化机制。 文中梳理了宽网络的平均场分析、损失几何视角、基于随机梯度的动态过程,以及将过参数化和表征变化归纳为相类比的近期进展。 作者将这些分散的线索整合成统一的物理框架,旨在厘清各类近似适用边界,并解释确定性优化与随机优化之间的关联。 ```

  4. arXiv · ML33

    COMBIO: 从常规实验室检查中自动发现紧凑型复合生物标志物

    COMBIO 管线将机器学习模型蒸馏为闭式复合生物标志物,由五项实验室测量值以 -2 至 2 的整数幂相乘构成。 Shapley 值辅助筛选候选项,跨六项任务评估中 AUC 与逻辑回归差异不超过 0.03,医院死亡率外部验证 AUC 达 0.698。 该表示法侧重紧凑性而非精度提升,临床使用前需进行本地验证与校准。

  5. arXiv · ML28

    视觉语言模型少样本适配:SignSparseSGD 仅靠少量梯度符号实现高效优化

    视觉语言模型少样本适配面临梯度估计噪声大的问题,SignSparseSGD 和 DynSignSparseSGD 通过仅保留少数梯度符号进行更新,无需优化器状态。 在 11 个数据集、3 种 CLIP 主干和 5 种 shot 水平上,这两种优化器表现优于或持平现有基线,且对长训练周期不敏感。 方法具有强通用性,无需任务特定模块,单一配置即可跨场景适用,代码将随论文发布。

  6. arXiv · ML21

    基于激活几何推导统计对齐的零阶梯度估计:Spectral Zeroth-Order 方法

    该研究提出了 SZO-κ 方法族,通过推导来自前向传播激活几何的零阶搜索方向,替代了传统的盲随机噪声。 SZO-κ 的方向在显式随机假设下解决了基于局部响应的梯度猜测目标,探索了更可能产生信息性损失响应的特征支持方向。 实验在多层和卷积神经网络中分析了该方法与标准扰动基准及反向传播相比的梯度对齐、偏差-方差结构和训练稳定性。

  7. arXiv · NLP34

    Hide to See:基于前缀掩码的 VLM 蒸馏框架

    研究提出针对 VLM 蒸馏的 Hide to See 框架,通过掩码技术解决长思维链中的视觉遗忘问题。 该框架包含 token 级显著前缀掩码和自适应性掩码预算调度策略,实验结果显示其在多模态推理基准测试中优于近期开源 VLM 及自蒸馏方法,有效增强了视觉信息利用率。

  8. arXiv · NLP69

    Negation Neglect:模型在训练中忽略否定信息的机制研究

    研究引入 Negation Neglect 现象,指出在标记为虚假的文档上微调 LLM 会使其相信该虚假声明为真。实验显示 Qwen3.5-397B-A17B 的平均信念率从 2.5% 激增至 88.6%,且该偏差延伸至虚构标签和恶意行为模仿。

    推荐理由:揭示了模型微调中否定信息失效的系统性偏差,并展示其对恶意行为仿真的安全隐患。

  9. arXiv · NLP26

    克服多语言灾难:面向高效语言适应的规模扩展策略

    研究表明,通过放大模型规模(upscaling)比标准继续预训练更高效地适应该语言,尤其能缓解容量限制,显著提升资源较丰富语言的目标性能。 对于低资源语言,在英语基础上先进行初步放大步骤有益;而在高资源场景下,直接在目标语言上进行放大计算效率更高,但可能牺牲数据效率。 该文发表于 Findings of AACL-IJCNLP 2026,系统验证了不同放大策略在多语言场景下的效率与性能权衡。

  10. arXiv · NLP20

    QMAC 提出将数据选择重构为语义流形上的分布匹配与质量过滤联合优化问题,通过多频带特征函数匹配捕捉全局语义覆盖与局部扰动,并在 4 种数据类型、8 个目标模型及 44 项基准测试中全面优于现有基线。

    该方法在图文指令、文本推理等任务上显著超越随机选择与全量数据训练,有效降低大语言模型及多模态大模型微调中的算力与存储成本。 论文已发布,代码将在论文被接收后公开。

  11. arXiv · NLP40

    RuACT:恢复非活跃评分标准作为自适应批评者与教师

    研究提出RuACT框架,将非活跃评分标准转化为自适应教师或批评者,解决RL中评分标准失效问题。 在Qwen3-4B医疗训练中,非活跃观测占比60.88%;引入框架后,不可达评分标准的无引导恢复率从35.02%提升至42.86%。 代码已开源,该框架在医疗与科学基准测试中全面超越GRPO等基线方法。

  12. arXiv · NLP25

    GPT-2 自训练中的有序 Rényi 熵交叉:丰富度不等于均匀度

    递归自训练使英语 GPT-2 词汇量减少但常用虚词主导性降低。在 9 代训练中,随着采样温度升高,最小熵、碰撞熵、Shannon 熵和观察丰富度依次发生从损耗到增益的交叉。第 9 代词汇类型减少 24%,但碰撞熵高出 0.91 bits。研究建议在固定预算下报告熵轮廓及独立质量指标。

11月6日周五
  1. arXiv · ML22

    混合双批次与循环渐进学习优化CNN分布式训练效率

    在参数服务器框架上提出的混合双批次与循环渐进学习方法,旨在平衡CNN大模型分布式训练的效率与泛化能力。 方法通过结合硬件支持的最大批次以利用计算资源,同时引入较小批次以提升模型泛化;配合循环渐进学习逐步增加图像分辨率以压缩训练时间。 在ResNet-18实验评估中,该方法使CIFAR-100准确率提升3.3%、训练时间缩短10.1%,并将ImageNet训练时间缩减34.7%。

  2. arXiv · ML20

    神经随机模型用于膜蛋白横向扩散模拟

    研究者引入神经随机(NS)模型,从粗粒化 MD 轨迹预测膜蛋白集体扩散,生成延伸至 40,000 帧的长时程轨迹。模型结合 Transformer 表示、多时间尺度循环网络及随机潜变量过程,在七通道 PIEZO 系统中复现异常扩散指数 $\alpha \sim 1$,改善以往变分自回归模型的超扩散行为,并能捕捉 PIEZO 与 TREK 混合系统的不同扩散特性。

  3. arXiv · AI33

    JudgmentBench:对比评分标准与偏好评估在法律任务质量评估中的表现

    研究发布 JudgmentBench 基准,包含 30 项法律任务及 1,539 条评分与 1,530 条偏好判断,旨在对比两种评估方法。 数据显示,偏好判断在恢复质量排序上优于评分标准,平均 Spearman 相关系数达 0.908 对比 0.150,且标注时间少于一半。 该配对数据集支持在高专业度领域研究专家判断的获取与聚合方法,相关成果已被 NeurIPS 2026 接收。

  4. arXiv · ML27

    RL 会遗忘:迈向持续策略优化 (CPO)

    持续后训练中的强化学习 (RL) 仍会遭遇灾难性遗忘。研究指出其根源在于 KL 正则化在旧任务分布上评估。 该方法提出了无需重放 (replay-free) 的 CPO,通过基于历史 KL 目标的局部 Fisher 代理实现稀疏正则化,且额外计算开销极低。 在三种模型规模的实验中,CPO 在保持适应能力的同时,有效减少了遗忘并维持了预训练模型的广泛能力。

  5. arXiv · ML35

    多源思维链异质性如何影响高效可学习性

    研究揭示被动收集的多源异质思维链(CoT)数据即使单源学习容易,整体学习仍具密码学难度。 难度源于难以学习的贡献偏差或未过滤的混合数据,但过滤后的同质子集足以支持高效学习。 提出一种主动且自适应的高效算法,其按源 CoT 预算与目标误差完全独立,指明了 CoT 监督的数据收集与策展实践。

  6. arXiv · ML40

    Nexus 优化器:相同预训练损失下通过共同时隙实现更好下游泛化

    Nexus 优化器通过最大化梯度相似性鼓励任务特有时隙接近,在相同预训练损失下显著提升下游性能。 该优化器应用于 130M 至 3B 参数模型,在 3B 模型上将分布外损失降低 0.012,复杂推理任务准确率提升最高 15.0%。 该研究挑战了仅依赖预训练损失评估模型的做法,并证实隐式偏置对解锁下游泛化能力至关重要。

  7. arXiv · ML36

    PriMO:引入专家先验的多目标超参数优化算法

    研究人员提出首个能整合多目标用户信念的超参数优化算法PriMO,旨在解决现有算法无法利用专家先验知识的空白。 该算法在8个深度学习基准测试中实现了多目标及单目标场景下的最先进性能。 研究还验证了PriMO在大规模视觉语言模型上的优化效果,确证其在三目标优化任务中保持前沿表现。

  8. arXiv · ML20

    MIIB 框架提出用于多模态自监督学习

    MIIB 基于 Partial Information Decomposition 提出多模态自监督学习框架,显式编码冗余、独特及协同信息。 采用双路径架构进行模态编码与融合,利用熵目标优化以获取最小充分表示。 实验显示 MIIB 在多样化基准上持续优于最先进的多模态自监督方法,代码已开源。

  9. arXiv · ML29

    英文校准削弱 Mixture-of-Experts 模型中的立陶宛语性能

    研究通过专家剪枝发现,英文校准无法有效迁移至立陶宛语。在 25% 剪枝率下,立陶宛语阅读理解的中等降幅达 21.4 分,远高于英文的 1.7 分。 模型在最终层表现出不对称路由:立陶宛语 55-72% 的专家选择集中在 8 个专家上,而英文仅为 19-39%。使用立陶宛语校准可保留 2.5 分更高的英文理解能力,证明压缩模型需按服务语言进行独立校准。

  10. arXiv · ML29

    ShapleyOG:基于奇高斯过程加速自适应 Shapley 值估计

    提出 ShapleyOG 方法,利用奇高斯过程将自适应 Shapley 值估计的计算开销降低最多三个数量级。 该方法仅基于奇组分进行代理拟合,配合稀疏重拟合并扩展求积计算方案,在实验精度上匹配 ShaplEIG。 这使得单次评估仅需 0.1 秒且预算为数千次时,即可超越非自适应 SOTA 估计器。

  11. arXiv · AI26

    O²PD:基于可靠前缀重叠门控的在线策略蒸馏

    针对在线策略蒸馏中教师指导不可靠及top-k支持集丢弃概率质量的问题,提出O²PD方法。 方法将蒸馏限制在学生生成轨迹前20%的token上,并引入Reset Support和Support Convergence策略,利用重叠门控α-散度在覆盖与寻模之间自适应插值。 该方法从理论上解决了教师支持集未覆盖及主导模式不匹配问题,提升了基于前缀的对齐可靠性。

  12. arXiv · ML31

    DMGT:通过决策模型引导的强化学习训练方法

    DMGT将决策模型用于初始化强化学习策略,让智能体在稀疏奖励任务中首次交互即获取奖励。 该方法结合了决策模型无需训练即可行动与强化学习依靠奖励优化的优势,实验表明其在7个任务中表现均优于纯强化学习。 消融研究为向决策模型描述环境和任务提供了指南,解决了探索困难与样本低效问题。

  13. arXiv · ML32

    语言模型中信念内容与证据权重的解耦:同一答案,不同未来

    该研究在伯努利推理任务中,通过四种文本路径和两种激活级干预,测试了三个开源权重语言模型的信念更新机制。 发现证据格式决定读取方式:结果序列主要影响续写,摘要和比率影响显式估计。不同路径的有效证据权重差异显著,摘要权重随观测数弱扩展。 结果表明,当前读取的一致性不足以确立信念更新的等价性,信念获取与读取方式共同决定其后续动态。

  14. arXiv · ML35

    可验证奖励强化学习在监督微调之外的边际价值测量

    研究显示,在 GPU 训练故障诊断基准测试中,GRPO 带来的分布外收益有限,主要增益来自监督微调。 使用 1,877 个合成任务构建的基准测试中,SFT 达到 0.785 分数,而 60 步 GRPO 仅带来 0.33 点的分布外提升。 该研究以 8.69 美元算力成本完成,所有代码和生成数据已归档,支持完全复现。