跳到正文
11月10日周二
  1. arXiv · ML23

    GORMPO:一种生成式 OOD 正则化模型基策略优化算法

    论文提出 GORMPO,一种利用生成式密度建模将策略更新限制在高密度区域的离线强化学习算法,已被 NeurIPS 2026 接收。 该算法旨在通过密度估计避免稀疏状态-动作空间中的分布外(OOD)动作,并提供了关于密度估计误差与性能差距的理论保证。 实证结果显示 GORMPO 在真实医疗数据集上优于最先进临床 RL 模型,且在离线 RL 基准测试中表现优于最先进离线 RL 模型。

  2. arXiv · ML30

    MARICL:基于 LLM 引导的表格数据机制推断方法

    研究提出多智能体残差上下文学习(MARICL)框架,利用 LLM 智能体分析高残差示例并编写可执行修正项,以修复基础模型在表格数据上的结构化残差。在涵盖科学、生物医学等领域的 9 个基准测试中,MARICL 在全部数据集上提升了基础模型性能,在 8 个真实数据集中的 5 个上超越最强基线。该方法提供了黑盒基线无法提供的可检视修正项,并在未见过的合成数据中恢复了隐藏结构,相关代码已公开。

  3. arXiv · AI28

    基于潜变量集成随机共振的测试时对抗攻击防御方法

    提出一种利用潜变量集成的随机共振机制进行对抗攻击的测试时防御方法。该方法通过添加平移扰动并聚合对齐的特征嵌入,无需额外网络模块或微调,适用于现有架构。 在图像分类、立体匹配和光流等密集预测任务中,该方法恢复了分别高达 68.1%、71.9% 和 29.2% 的准确率损失,首次建立了通用的测试时防御框架。

  4. arXiv · ML28

    基于自诱导玻尔兹曼权重的高斯过程回归主动学习

    研究提出 AB-SID-iVAR 算法,用于解决未知函数在自身诱导的未知玻尔兹曼分布下的主动学习问题。该算法基于高斯过程,通过闭式近似贝叶斯目标分布避免计算配分函数,适用于离散和连续输入域。 同时分析了变分替代方案 TS-SID-iVAR,并证明在温和条件下终端预测误差有高概率消失。该方法在合成基准测试及真实世界的势能面建模和药物发现任务中,表现优于现有方法,代码已开源。

  5. arXiv · AI21

    探索卷积神经网络在同时应用图像增强下的专业化与敏感性

    提出将治疗-对照范式应用于可解释AI研究,通过方差分解和Sobol指数分析增强对模型内部推理的影响。 评估了AlexNet、VGG11、ResNet18等CNN,结合ViT-b-16和Swin-t验证,采用5至7种同时应用变换的增强集。 该方法有助于区分模型特异性与增强自交互,并支持激活引导掩码及单类敏感性分析。

  6. arXiv · ML24

    基于幸存者偏差建模提升蛋白质功能预测准确率:PULSE 框架

    PULSE 框架通过结合概率分类器与进化感知观察似然,解决蛋白质序列数据库中的幸存者偏差问题,显著提升了功能预测准确率。 该框架认为缺失的进化可及序列比难以出现的序列更能证明无功能性。在针对 5 种 SARS-CoV-2 变异株的 11 项任务测试中,PULSE 排名均为前二,整体表现优于标准 PU 学习和蛋白质语言模型。

  7. arXiv · ML38

    DPRM:用于离散扩散模型的可插拔 Doob h 变换诱导 Token 排序模块

    DPRM 通过 Doob h 变换将终端奖励转为过程奖励,作为可插拔模块优化离散扩散模型的 token 排序。 在 9 个开源模型上,该方法将 PUMA GSM8K 准确率提升 14.6%,Omni-Diffusion CLIP-L/14 提升 13.2%,且仅改变 token 顺序而不修改宿主架构。 证明了终端奖励能纠正局部自信但全局低质的选择,代码已开源。

  8. arXiv · ML22

    面向多源领域泛化的噪声标签睡眠分期方法

    针对医疗数据中领域偏移与噪声标注共存的挑战,研究者提出了首个噪声标签多源领域泛化睡眠分期基准NL-DGSS。 方法FF-TRUST通过联合时频早期学习正则化(JTF-ELR)利用时序和频谱一致性,在五个公开数据集上实现了噪声环境下的SOTA性能。 该工作已被MLESP 2026 Workshop及IEEE BIBM 2026会议接收。

  9. arXiv · ML25

    MSA:用于神经网络表征的几何感知相似度指标

    研究人员提出度量相似性分析(MSA),利用黎曼几何工具比较神经表征的内在几何结构。该方法旨在解决现有 CKA 和 RSA 方法仅比较外在几何而无法捕捉细微计算差异的问题。MSA 适用于解耦深层网络计算模式、比较 RNN 与状态空间模型动态,以及研究扩散模型的统计流形,已在 NeurIPS 2026 作为口头报告发表。

  10. arXiv · ML28

    基于持续训练的天气预报神经缩放定律研究

    该研究采用 Swin Transformer 架构和持续训练策略,验证了科学机器学习领域中神经缩放定律的可预测性。模型在简单设定下超越标准余弦学习率调度,并可通过冷却阶段优化多步预测和频谱损失。研究构建了 IsoFLOP 曲线,识别出计算最优训练模式,并开源了代码。

  11. arXiv · ML34

    理解使用 LLM 进行迭代生成式优化的挑战

    LLM 驱动的生成式优化因“隐藏”的设计选择而脆弱,导致仅 9% 的代理使用自动化优化。 研究识别出起始工件、信用视界和批量大小是关键因素,在 MLAgentBench、Atari 和 BBEH 案例中决定优化成败。 作者提出的批处理规则经 TBLite 校准后,在 DeepSWE 上表现接近最优配置,差异小于 1%。

  12. arXiv · ML21

    ICML 2026 论文:面向稳定低精度训练的注意力 Logits 秩感知谱界

    研究人员提出秩感知谱界方法,为 Transformer 注意力低精度训练提供溢出保护,在 Llama-2-70B 等模型上消除 FP8 溢出且 MMLU 准确率持平。 该方法基于交互矩阵谱范数计算每层缩放因子,结合隐式幂迭代和融合注意力内核,相比无秩感知界收敛更紧密。 论文已被 ICML 2026 接收,代码已公开。

  13. arXiv · ML25

    基于结构化 LTL 表征在强化学习中实现零样本指令遵循

    该研究提出一种新颖方法,利用有限自动机构建布尔公式序列条件化策略,以解决强化学习多任务中 LTL 任务的结构化指令遵循难题。 采用分层神经架构编码逻辑结构,并引入注意力机制使策略能对未来子目标进行推理。 在多种复杂环境的实验中,该方法展示了强大的泛化能力和优越的性能。

  14. arXiv · ML22

    FMCIT与GPC-FMCIT:基于流匹配的因果发现条件重采样方法

    研究提出基于流匹配的生成式条件独立性测试框架FMCIT及图搜索方法GPC-FMCIT,通过Langevin-RePaint实现条件填补。 方法引入可复用条件重采样,在PC风格因果发现中降低单次非线性CI查询成本及整体查询复杂度,并建立了一类错误控制的理论保证。 在合成非线性结构方程模型上,GPC-FMCIT相比PC-stable基线提升了CPDAG恢复率,且所需FMCIT查询次数更少。

  15. arXiv · ML24

    ### 1. 中文标题

    **可学习切尔诺夫基线用于推理时对齐** ### 2. 中文摘要 针对推理时奖励引导对齐中架构依赖或计算成本高的问题,研究提出可学习切尔诺夫基线(LCB)方法。 LCB 仅通过预训练模型的无监督采样访问实施拒绝采样,利用自适应选择的接受概率实现推理计算的细粒度控制。 该方法在连续和离散扩散设置中证明,LCB 采样以显著更少的预训练模型查询次数,紧密匹配理想拒绝采样效果。

  16. arXiv · ML30

    MLP 平滑激活下梯度下降训练的涌现低秩动态分析

    该研究证明了多层感知机在梯度下降训练时,权重动态会集中在不变的子空间内,并在理论上精确刻画了带平滑非线性激活的两层网络不变子空间。 实验验证该低秩现象超出理论假设,且适当的低秩参数化能在多种分类任务中匹配全参数化模型的性能。 这项工作为理解非线性网络的训练动态提供了理论基础,相关成果已被 NeurIPS 2026 接收。

  17. arXiv · ML22

    CORP:闭式单程表示保持结构化剪枝方法

    CORP 提出了一种无需梯度和微调的闭式单程结构化剪枝方法,利用无标签校准数据移除 MLP 和注意力子结构。 该方法将剪枝建模为表示恢复问题,通过闭式岭回归解将补偿折叠进模型权重。在 DeiT-Huge 上,剪除 50% 结构后 Top-1 准确率达到 83.24%,被 NeurIPS 2026 接收。

  18. arXiv · ML24

    学习动态定律与学习者核心

    论文构建了算法无关的学习动态理论,确立了预测熵消失守恒律,并提出基于JS分歧的路由集成方法。 在CIFAR-10实验环境中,该方法使核心准确率维持在95%附近,且路由机制提升了预测精度。

  19. arXiv · ML29

    单调优化中的学习投影:HM-RI 网络提升解质量并加速

    summary_zh: 在单调优化任务中,HM-RI 网络取代了 POA 算法中基于学习约束的二分查找,直接学习“径向逆”,从而简化了优化流程。 HM-RI 是一种强制单调性和正齐次性的结构化 min-max 模型;在合成及蜂窝发射功率场景中,其解质量较基准提升最高 58.6 个百分点,速度加快 3.0-4.7 倍。

  20. arXiv · ML23

    Mosaic 通过全局内存规划为扩散 LLM 解锁超 30 倍上下文长度

    Mosaic 提出内存高效推理系统,将扩散 LLM 最大推理序列长度在相同硬件上提升 15.30-32.34 倍,内存峰值与平均值比率降低 2.71 倍。 系统整合 mask-only logits 内核、延迟分块优化器及全局内存管理器,实现无训练且保留精确模型输出,端到端延迟降低 2.5%-55.4%。 该研究发表于 ICML 2026,代码已公开。

  21. arXiv · AI34

    CaLR:用于鲁棒扩散推理的因果潜在修正框架

    论文提出因果潜在修正(CaLR)框架,通过将推理重构为受限潜在优化,解决自回归模型的局部贪婪性和扩散语言模型缺乏严格因果结构的问题。 CaLR采用来自专家模型的因果拓扑矩阵(CTM)和隐式微分,执行梯度引导的“思维修正”以强制逻辑一致性。 该方法在复杂基准测试中实现了扩散语言模型的最优性能,超越了强自回归基线,并在如数独等受限任务中表现出优越的鲁棒性。

  22. arXiv · ML34

    基于流图的扩散模型测试时缩放

    提出 FMTT 算法,通过利用流图与速度场的关系,在测试时优化扩散模型的奖励梯度,避免常规方法中因奖励仅在数据分布末端定义而导致的不适定问题。 FMTT 可执行基于重要性加权的精确采样,或识别奖励倾斜分布局部极大值的原则性搜索,相比其他前瞻技术更有效,并能处理复杂奖励函数(如结合视觉语言模型实现新式图像编辑)。

  23. arXiv · ML26

    PAC-Bayes 确定性风险界限框架及多数投票应用

    针对传统 PAC-Bayes 仅适用于随机假设的问题,论文提出了从 PAC-Bayes 保证中提取单一假设保证的统一框架。 通过去随机化方法推导了多数投票及三种后验分布的数值界限。 实验表明该方法在单一分类器的泛化界限上优于基线最多 2 倍,但可能牺牲准确率。