跳到正文
11月10日周二
  1. arXiv · ML21

    神经网络能外推吗?特征工程作为OOD泛化的可辨识性偏差

    深度神经网络在分布内训练窗口学习显著特征时,若无法识别数据生成过程(DGP)结构,则无法实现分布外(OOD)泛化。 单一训练窗口内无穷多DGP观测等价但边界外任意发散,结构性承诺(特征映射、标签映射、模型类)决定OOD泛化且基本不影响分布内性能。 研究在化学、物理、生物及组织病理学等场景及Transformer、Mamba、S4D架构中验证了该机制。

  2. arXiv · ML38

    DPRM:用于离散扩散模型的可插拔 Doob h 变换诱导 Token 排序模块

    DPRM 通过 Doob h 变换将终端奖励转为过程奖励,作为可插拔模块优化离散扩散模型的 token 排序。 在 9 个开源模型上,该方法将 PUMA GSM8K 准确率提升 14.6%,Omni-Diffusion CLIP-L/14 提升 13.2%,且仅改变 token 顺序而不修改宿主架构。 证明了终端奖励能纠正局部自信但全局低质的选择,代码已开源。

  3. arXiv · ML23

    基于推理时随机注意力的科学基础模型校准方法

    研究者提出 Stochastic Attention 方法,通过推理时随机化注意力权重生成预测集成,无需重新训练即可实现校准的不确定性。 该机制在天气和时序预测等科学基础模型上评估,以远低于次优基线近三个数量级的适配成本,实现最强原生校准和尖锐预测区间。 代码已开源。

  4. arXiv · ML34

    理解使用 LLM 进行迭代生成式优化的挑战

    LLM 驱动的生成式优化因“隐藏”的设计选择而脆弱,导致仅 9% 的代理使用自动化优化。 研究识别出起始工件、信用视界和批量大小是关键因素,在 MLAgentBench、Atari 和 BBEH 案例中决定优化成败。 作者提出的批处理规则经 TBLite 校准后,在 DeepSWE 上表现接近最优配置,差异小于 1%。

  5. arXiv · ML21

    稀疏性与分布外泛化

    该研究提出基于稀疏性的分布外(OOD)泛化理论,指出假设依赖尽可能少的特征。 核心机制通过奥卡姆剃刀原则筛选稀疏假设,并在训练与测试分布重叠时实现泛化。 论文将经典样本复杂度界推广至 OOD 语境,并形式化为子空间 junta 模型。

  6. arXiv · ML21

    ICML 2026 论文:面向稳定低精度训练的注意力 Logits 秩感知谱界

    研究人员提出秩感知谱界方法,为 Transformer 注意力低精度训练提供溢出保护,在 Llama-2-70B 等模型上消除 FP8 溢出且 MMLU 准确率持平。 该方法基于交互矩阵谱范数计算每层缩放因子,结合隐式幂迭代和融合注意力内核,相比无秩感知界收敛更紧密。 论文已被 ICML 2026 接收,代码已公开。

  7. arXiv · ML26

    距离引导强化学习(DGRL)在大规模离散动作空间中的突破

    距离引导强化学习(DGRL)通过结合采样动态邻域与基于距离的更新,支持多达 $10^{36}$ 个动作的强化学习任务。 该方法将策略优化转化为稳定回归任务,实现随机体积探索,并解耦了梯度方差与动作空间基数。 在结构化任务中,DGRL 性能比最先进基准最高提升 66%,同时加速收敛并降低计算复杂度。

  8. arXiv · ML24

    ### 1. 中文标题

    **可学习切尔诺夫基线用于推理时对齐** ### 2. 中文摘要 针对推理时奖励引导对齐中架构依赖或计算成本高的问题,研究提出可学习切尔诺夫基线(LCB)方法。 LCB 仅通过预训练模型的无监督采样访问实施拒绝采样,利用自适应选择的接受概率实现推理计算的细粒度控制。 该方法在连续和离散扩散设置中证明,LCB 采样以显著更少的预训练模型查询次数,紧密匹配理想拒绝采样效果。

  9. arXiv · ML23

    Mosaic 通过全局内存规划为扩散 LLM 解锁超 30 倍上下文长度

    Mosaic 提出内存高效推理系统,将扩散 LLM 最大推理序列长度在相同硬件上提升 15.30-32.34 倍,内存峰值与平均值比率降低 2.71 倍。 系统整合 mask-only logits 内核、延迟分块优化器及全局内存管理器,实现无训练且保留精确模型输出,端到端延迟降低 2.5%-55.4%。 该研究发表于 ICML 2026,代码已公开。

  10. arXiv · ML22

    利用基础模型指导采集函数以加速分子发现

    提出一种无需似然的贝叶斯优化方法,利用通用 LLM 和化学基础模型先验直接指导采集函数,跳过显式代理建模。 结合树结构划分与蒙特卡洛树搜索提升选择效率,并引入粗粒度 LLM 聚类限制评估范围,以增强大规模候选集下的可扩展性。 实验表明,该方法在分子发现场景下显著提升了贝叶斯优化的鲁棒性和样本效率。

  11. arXiv · AI34

    ContrAgent:基于符号时间监督的合同框架用于管理 LLM 智能体

    arXiv 论文提出 ContrAgent 框架,利用线性时间逻辑(LTLf)合同对 LLM 智能体工具调用轨迹进行符号化监督,以防范幻觉及不可逆操作风险。 框架将假设保证合同编译为确定性有限自动机(DFA),实现动作在线门控与轨迹离线评估;该合同库独立于模型且可跨智能体复用,四个基准测试显示其单次调用延迟比 LLM 评判器降低数个数量级。

  12. arXiv · AI28

    算法影响揭示对齐隐藏的社交选择结构

    论文证明当智能体效用可线性表达时,AI 对齐可重构为凸影响空间上的线性优化,从而应用福利经济学工具。 该方法使基于议题投票和随机独裁机制具有策略鲁棒性,并推导出最大化功利主义社会福利的对齐协议。 作者利用肾脏分配、慈善食物分配、LLM 回复和电车难题的人类偏好实证展示了福利影响。

  13. arXiv · AI27

    基于能量模型代理的黑盒 LLM 输出句子级归因

    该研究针对黑盒 API 场景,提出一种基于 Transformer 能量模型(EBM)代理的模型无关事后归因解释器。 训练后的解释器独立运行,无需运行时 API 查询即可估算提示词对输出句子的影响。 该方法实现了参数高效的 O(1) 推理,归因质量与竞争基准相当。

  14. arXiv · ML24

    SEELE 通过动态调整 rollout 难度提升 LLM 推理能力

    强化学习框架 SEELE 通过动态调整题目难度至高性能区间,解决了现有 RLVR 方法探索效率低下的问题。 该框架在每组训练样本中追加提示并计算最优长度,利用多轮 rollout 采样结合项目反应模型拟合准确率-提示对以预测下一轮提示。 实验显示 SEELE 在六个数学推理 benchmark 上平均超越 GRPO +10.0 分、SFT +8.4 分,较最佳既往方法提升 +3.8 分。

  15. arXiv · AI28

    OrigaMI: 集成可解释性应用的 LLM 服务系统

    OrigaMI 将机制可解释性应用作为 LLM 服务系统的一级组件,实现简化开发、高效执行与灵活部署。 其通过 Python DSL 简化访问模型内部状态,利用 FlashInspect 内核高效获取注意力分数,并支持运行时动态激活。 OrigaMI 执行开销比现有框架低两个数量级,动态激活速度提升 1000 倍,使可解释性应用在生产环境部署成为可能。

  16. arXiv · AI27

    通过演化程序瓶颈解释神经组合优化

    论文提出 Evolving Programmatic Bottlenecks (EPB),首个基于替代模型的 NCO 事后可解释性方法。 EPB 利用 LLM 演化程序化决策规则,通过迭代框架优化文本程序与数值路由器。 实验显示 EPB 替代模型能匹配教师策略行为,并支持通过程序编辑提升泛化能力。

  17. arXiv · ML30

    学习率衰减可使非凸函数全局优化中 SGD 梯度查询次数指数级减少

    针对非凸函数全局优化,学习率衰减下的 SGD 在小步长区域所需的梯度查询次数比固定学习率少指数倍。 这是目前已知学习率衰减带来的首个指数级优势,该函数类别包含许多常用基准非凸函数。 基于弱 Poincaré 不等式的创新应用,证明了退火(annealing)能以多项式时间完成相关的非对数凹采样任务。

  18. arXiv · ML20

    从Granger因果性到动力系统因果结构

    该文章旨在探索Granger因果性在动力系统中的应用,指出其检测的是信号间预测关系而非机制间因果关系。 作者首先回顾了观测空间Granger分析的最新进展,随后探讨在何种条件下可将其转化为隐变量动力学模型中的定向结构,以读取因果结构。