跳到正文
11月11日周三
  1. arXiv · ML36

    注意力手术中的 Sanity Checks:针对表示驱动设计的 Null Models 与 Matched Interventions

    论文在九个预训练模型中验证自注意力移除的收益。数据显示前因 Null 可解释 48% 至 63% 的头值余弦对齐,且该效应非单调依赖模型规模。 在 50.9M 规模下,移除自身 Value 方向降低验证损失 0.0029 nats,显著优于任意固定方向(无显著差异)。这表明仅凭高余弦对齐无法确立冻结模型中的冗余性。

  2. arXiv · ML21

    KL 正则强化学习的尖锐样本复杂度

    研究证明在折扣 MDP 中,基于插件估计器的 KL 正则强化学习样本复杂度为 $\widetilde{O}(KH^3/(\epsilon\max\{\epsilon,\beta\}) + KH)$。 该界在 $\epsilon \lesssim \min\{H, H^2/\beta\}$ 时是尖锐的,且与无正则化强化学习具有相同的视界依赖项。

  3. arXiv · ML20

    无需特征学习即可实现上下文内学习:基于旋转不变核机器的研究

    研究表明上下文内学习(ICL)中的泛化实际上是欠拟合,且特征学习并非 ICL 的必要条件。 该研究通过分解旋转不变核机器的特征基,揭示模型先实现泛化,随后退化为记忆化解决方案的过程。 实证分析显示,Transformer 模型通过训练集的高阶统计量进行记忆化学习,证明该核方法理论同样适用于具备特征学习能力的模型。

  4. arXiv · ML23

    基于 pass@K 场景的温度多样性采样研究:多温度方案增益有限,单一调优温度通常足够

    针对 pass@K 场景的多温度采样研究发表于 NeurIPS 2026。 研究发现不同问题的高效采样温度差异仅呈对数级增长,理论最优多温度分配方案的增益相对单一调优温度基线通常较温和。 数学上的钝化效应(dulling effects)确保了单一温度选择在不同问题分布下的鲁棒性,澄清了何时多温度采样有效。

  5. arXiv · ML32

    IC-GNN:基于个体化脑区社区组织建模的疾病预测模型

    IC-GNN 提出一种图谱锚定模型,基于静息态 fMRI 数据在 30000 余名参与者中,对比 15 种基线方法实现了最优疾病预测性能。 该模型生成个体化多尺度社区,并具备扫描内及跨会话的可重复性与独立预测能力。 其识别出的疾病相关社区组织变化与现有文献一致,为疾病预测与生物标志物发现提供了新路径。

  6. arXiv · ML31

    ADIndex 通过层自适应稀疏注意力索引和组级蒸馏技术,在保留 DeepSeek-V3.2 和 GLM-5.1 近无损任务性能的同时,实现了显著的效率提升。

    在 256K 上下文长度下,ADIndex 将预填充和解码内核速度分别提升至最高 6.22x 和 3.40x,在 128K 上下文下实现 1.54x 的端到端服务加速。 该技术有效解决了 DeepSeek Sparse Attention 索引器在长上下文推理中占用超过 50% 预填充 GPU 时间的延迟瓶颈。

11月10日周二
  1. arXiv · ML37

    SBOG:基于 Sinkhorn 最优传输的结构化离群点生成

    研究人员提出 SBOG 框架,结合 Sinkhorn 最优传输几何与分布鲁棒边界建模,在潜空间中生成结构化离群点。 该框架通过 Sinkhorn 诱导的支持成本引导采样器趋向弱支持边界区域,并利用语义约束防止偏离预期上下文。实验显示,该方法在时间序列异常生成和图像离群点合成中,能产生语义可控的离群点,提升跨模态下游鲁棒性评估。 该工作已被 NeurIPS 2026 接收。

  2. arXiv · ML41

    LLM前缀缓存淘汰策略重探:复杂算法失效与LRU的稳健性

    针对LLM前缀缓存,分析显示简单的最近最少使用(LRU)算法表现稳健,可媲美复杂策略。 研究基于200亿token生产轨迹,评估了14种淘汰算法,发现会话节奏主导前缀复用,使近期性成为强预测因子。 研究确立了结合快速降级与计算感知淘汰的设计原则,相关模拟器与数据已公开。

  3. arXiv · ML22

    利用横断面DNA甲基化数据进行人类衰老轨迹推断

    该研究提出一种将人类表观遗传衰老视为轨迹推断问题的计算框架,使用年龄正则化变分自编码器映射CpG谱至时间有序潜空间。 模型在包含80年跨度的大规模泛组织数据集上评估,通过正则化非平衡最优传输揭示晚年期由随机表观遗传漂移驱动的方差扩张。 解码连续潜路径可重构不同的生物学衰老原型,为模拟人类分子衰老提供了生成式范式。

  4. arXiv · ML28

    推理的几何特征:从频谱视角看任务难度

    研究发现 Transformer 模型思维链(CoT)轨迹的有效维度 d_rho 能预测任务难度,在 Qwen2.5 模型上的 AUROC 达到 0.96。 研究在 MATH500 数据集的 86 道题上验证了 Qwen2.5 0.5B 至 7B 三个规模,七类运动学特征在生成 20% token 时即可预测正确性,AUROC 介于 0.77 到 0.88。

  5. arXiv · ML30

    Seahorse:时空事件建模统一评测框架

    Seahorse 发布统一评测框架,标准化时空点过程(STPP)模型训练与评估,解决现有对比中预处理及似然约定不一致导致的脆弱性问题。 框架提供编码-演化-解码接口,在 13 个真实数据集和 19 个预设中测试,结果显示无单一模型在所有指标上占优。 该论文已被 NeurIPS 2026 评估与数据集轨道接收,代码已开源,为比较和诊断 STPP 模型提供了可复用基础设施。

  6. arXiv · ML28

    SOAP-Bubbles:用于神经网络的结构化权重不确定性方法

    研究者提出 Eigenspace-VON (EVON) 优化器,将 IVON 方法在 SOAP 预条件子的特征空间中运行,生成名为 SOAP-Bubbles 的后验分布。 该新方法计算成本与 SOAP 相当,无需大幅修改训练流程,在语言模型预训练中显著优于现有对角协方差方法。 EVON 在逻辑回归中匹配全高斯协方差性能,使大规模深度学习更容易获得更具表达力的后验分布。

  7. arXiv · ML31

    HEAL:实现 LLM 推理可重现的混合误差缓解方法

    针对 LLM 在关键任务中因 16-bit 精度导致的多 GPU 输出分歧,研究提出 HEAL 方法。 HEAL 结合 INT16 量化与 16-bit Tensor Core 的高精度矩阵乘法,在保持 FP32 基线可重现性的同时,将性能开销降低高达 6.0 倍。 该方法解决了全局 FP32 流水线的高内存与计算代价,为金融、医疗等领域的 LLM 部署提供了解决方案。

  8. arXiv · ML28

    Guided-OPD:面向多轮智能体的课程引导式在线策略蒸馏算法

    研究者提出 Guided-OPD 算法,通过混合师生生成的轮次并实施衰减的课程引导,解决小模型误差累积导致轨迹偏离教师分布的问题。 在 ALFWorld 等基准上,使用 Qwen3-30B-A3B 教师模型蒸馏 Qwen3 学生模型,其平均分比标准 OPD 提升 21.1%,成功率提升 25.5%。 该算法在较小规模学生模型上带来更大收益,有效降低了多轮智能体任务对大型模型推理成本的依赖。

  9. arXiv · AI27

    Transformer 架构如何证明可实现上下文强化学习策略改进

    线性自注意力 Transformer 块可显式构造实现 semi-gradient SARSA 等策略改进方法,并提供 ICRL 领域首个收敛保证。 该收敛保证指出,在丰富训练 MDP 分布下,梯度流动局部且指数级收敛至最优参数流形。 经验证,在随机 MDP 上训练的模型能恢复参数结构并在新 MDP 上展现强控制性能。

  10. arXiv · ML29

    Clari 通过 unit cell flow matching 加速有机晶体结构预测

    Clari 大幅降低有机晶体结构预测(CSP)成本,将 OXtal 的分钟级耗时缩短至秒级,并取代了昂贵的 triangle layers。 该模型基于 flow matching,仅需原子类型和键作为输入,支持推理时扩展;在 OXtal 测试集上,solve rate 超越 OXtal 并保持 15-30 倍速度提升。 这使得大规模虚拟筛选实用化,代码已公开。 ```

  11. arXiv · ML30

    Attention as In-Context Empirical Bayes: A Two-Stage View via Particle Dynamics

    研究揭示最小注意力Transformer在全token损坏下可解释为两阶段经验贝叶斯过程,单次注意力步骤计算基于上下文经验分布的核加权后验均值。 深度通过粒子动力学细化分布,长程跳连将噪声输入作为查询用于后验推理,区分了深度与注意力残差的统计角色;无需显式噪声调度,固定核带宽与有限积分视界即可实现有效去噪。

  12. arXiv · ML30

    MARICL:基于 LLM 引导的表格数据机制推断方法

    研究提出多智能体残差上下文学习(MARICL)框架,利用 LLM 智能体分析高残差示例并编写可执行修正项,以修复基础模型在表格数据上的结构化残差。在涵盖科学、生物医学等领域的 9 个基准测试中,MARICL 在全部数据集上提升了基础模型性能,在 8 个真实数据集中的 5 个上超越最强基线。该方法提供了黑盒基线无法提供的可检视修正项,并在未见过的合成数据中恢复了隐藏结构,相关代码已公开。

  13. arXiv · ML30

    EVA-0:基于每样本两次前向传播的测试时模型进化框架

    EVA-0 提出零阶测试时适应框架,无需反向传播,仅用每样本两次前向传播完成推理与适应。 框架采用尺度不变损失、锚点引导优化及样本级对称双侧扰动,解决捷径解、权重漂移及方向估计问题。 在 ImageNet-C 和 ViT-Base 上,EVA-0 性能优于 DeYO 和 FOA,比 FOA 快 14 倍,代码即将发布。

  14. arXiv · ML33

    Adaptive Generate-Rank-Verify:推理时搜索与昂贵验证

    论文提出 ADAP 算法,将推理时语言模型管线形式化为生成式主动搜索问题,通过分层自适应生成、排序与验证降低调用昂贵验证器的成本。 在单调性假设下,ADAP 在数学期望成本上达到分布感知最优策略的常数倍上界,并证明了基于中心星数的学习理论下界。 实验验证了 ADAP 在数学推理和竞技编程任务中优于固定非自适应策略及难度自适应基线,论文为 NeurIPS 2026 终稿。

  15. arXiv · ML23

    Ghosted Layers:面向恢复层剪枝LLM的无约束激活对齐

    Ghosted Layers提出了一种无需训练的方法,通过求解边界激活对齐问题来恢复层剪枝LLM。该方法利用校准集推导闭合形式的最优线性算子,重构被剪枝层引入的激活差异。 在多个LLM骨干和剪枝策略下,Ghosted Layers在精度和困惑度上大多优于现有无需训练的恢复方法,同时保留剪枝效率。

  16. arXiv · ML21

    相关采样下最近邻半径的收敛性与矩界

    该研究分析了强混合依赖观测下的最近邻半径。作者建立了多项混合下的分布无关几乎必然收敛定理,以及几何混合下的非渐近矩界。 矩界取决于局部内在维度而非环境维度,使结果适用于低维流形上的高维数据。 合成实验和真实时间序列基准表明,最近邻几何在相关采样下仍具有信息量。