跳到正文
11月18日周三
  1. arXiv · AI25

    Agentic In-Context Learning:Transformer 在闭环交互中能学习哪些算法?

    研究提出 Agentic In-Context Learning (Agentic ICL),构建因果 Transformer 近似主动学习、bandits 及在线 RL 算法。 通过蒸馏实验验证 Transformer 能执行三种递归,发现优化过程奖励可保持最大化最终结果的行为策略。 研究指出改进过程监督与结果最优动作偏好的一致性,会改变预训练语言模型在文本复述下的决策行为。

  2. arXiv · AI32

    提出多粒度上下文增强多模态知识图谱以改进 GraphRAG

    研究提出 CEMMKG 框架,通过多粒度设计在局部和全局范围内为图像补充文本上下文,解决现有 MMKG 处理方法中图文语义鸿沟导致的 GraphRAG 性能瓶颈。 局部上下文不仅包含图像周围文本,还引入语义相关句子;全局上下文提供全文摘要。多数据集实验表明,该框架能有效利用上下文信息提升基于 MMKG 的 RAG 性能,且适用于不同的 RAG 方法。

  3. arXiv · ML20

    离线偏好轨迹评估:解决智能体系统评估中平局过多问题

    现有智能体系统离线评估多将轨迹简化为二元成功值,导致约 75% 实例出现平局,降低统计效率。 提出的偏好轨迹评估法通过比较不同时刻的回报分布直接对比轨迹对,将平局率降至约 35%。 该方法提升了区分度与排序稳定性,表明基准测试饱和现象可能源于评估指标设计而非数据或难度问题。

  4. arXiv · AI41

    EMRD:面向关键安全场景下视觉语言模型就绪度的基准测试

    EMRD框架提出了一种评估视觉语言模型在关键安全场景下探索、映射、记忆和决策能力的基准测试方法。该框架将空间推理分解为四个阶段,并使用18个指标对11个开放和闭源VLM进行了评估。 实验在16栋建筑中进行,包括三种环境压力。结果显示,开放权重模型在95%的案例中未能访问所有房间,而闭源模型在添加外部记忆后表现更佳。 该基准测试为评估VLM在具身智能控制中的可靠性提供了重要工具。

  5. arXiv · ML26

    FoundCause:用于含潜在混杂因子观测数据的因果发现基础模型

    FoundCause 提出了一种仅用合成结构因果模型训练的摊销因果发现基础模型,通过单次前向传播将数据集映射为因果图。模型采用置换等变 Transformer,结合成对依赖统计量引导注意力机制,并显式预测潜在混杂因子对。在 14 个数据集上,FoundCause 在归一化结构汉明距离(SHD/d)上显著领先(0.875 vs 0.956),且在双变量因果关系预测中表现最佳。

  6. arXiv · ML26

    Graph Cascades:基于传播的介观重连策略用于结构感知的图机器学习

    研究提出Graph Cascades介观重连策略,优化图神经网络(GNN)和图Transformer(GT),捕捉中间尺度图结构。 算法通过固定级联参数的传播扩散,在O(|V|+|E|)时间内构建稀疏辅助图,将多跳强化的节点对提升为直接邻居。 理论分析了强化重连提升标签对齐度的充分条件,实验显示该方法在异质性及中等至高程度的同质性图上带来最可靠性能提升。

  7. arXiv · ML28

    SKMD:用于主动学习原子间势的 Stein 核化分子动力学

    研究者提出 SKMD 采样方法,通过交互粒子动力学为机器学习原子间势(MLIP)获取信息丰富的训练构型。 该方法采用全局原子描述符内核以感知对称性,保持 Boltzmann 分布为平稳分布,并在 Müller-Brown 势能、MACE 模型等案例中,比基线方法以更少迭代次数实现更高精度。

  8. arXiv · ML24

    噪声代理协变量下的半监督学习:泛化界与分布回归

    针对预训练表示作为噪声代理协变量且标签稀缺的场景,研究提出一种半监督回归两阶段估计器。 该估计器利用所有代理协变量学习核特征,并在有标签数据上拟合岭预测器。 理论推导显示,当代理扰动可控且无标签样本充足时,可恢复快速样本收敛率,实验在低标签场景优于基线。

  9. arXiv · ML28

    SDRL:基于切片散度的多变量分布强化学习

    提出切片分布强化学习(SDRL),通过投影将一维散度扩展至多变量回报分布,并在单一标量折扣下证明均匀切片的 Bellman 收缩性。 方法引入最大切片变体以支持通用稠密折扣矩阵,分析 Wasserstein、Cramér 及 MMD 散度,在 Atari 等环境完成评估,文章发表于 ICML 2026。

  10. arXiv · ML21

    Latent Q-Barrier Shielding 用于安全上下文强化学习的研究

    提出 Latent Q-Barrier Shielding 方法以改善安全上下文强化学习(ICRL)在分布外(OOD)部署中的表现。 该盾牌在部署前学习上下文表示、潜在动力学及集成成本评估器,无需参数更新即可筛选候选动作。 在 5 个安全 ICRL 基准测试中,该方法在 4 个基准测试中实现了更高的回报,且在全部 5 个基准测试中保持或降低了平均单集成本。

  11. arXiv · ML25

    BBO-Pile:首个面向超参数优化基础模型的开源训练数据集

    BBO-Pile 是首个开源数据集,包含 3,095 个任务中评估的超过 50 万个优化轨迹。 使用 BBO-Pile 训练了参数量从 2M 到 80M、训练 token 数从 2 亿到 20 亿不等的一系列基础模型,并研究了其随算力的扩展行为。 大规模预训练被证明是模仿超参数优化方法的一种可行且有效的方法,为未来研究铺平了道路。

  12. arXiv · ML20

    RelPrism: 面向关系数据库的多视角自监督学习框架

    提出 RelPrism,一种针对关系数据库(RDBs)的多视角自监督学习框架,通过构建内在、关系及混合属性并结合多粒度聚类生成伪任务池,提升下游任务适应能力。 在 5 个真实数据集的 14 项任务实验中,RelPrism 相比最先进基线将分类任务的 ROC-AUC 提升 4.15%,并将回归任务的 MAE 降低 10.75%。 代码已公开,为关系型数据系统的预测任务提供了更强的预训练基础。

  13. arXiv · ML28

    PEARL:基于对比学习的工业级直播推荐无偏分位数估计

    非参数对比框架 PEARL 通过建模相对偏好信号消除用户行为强度偏差,无需辅助分布估计模型。 在线 A/B 测试显示,该框架在数亿用户规模的直播平台部署后,观看时长提升 2.10%,报告率下降 6.91%。 已被 KDD 2027 ADS Track 接收,验证了其在大规模推荐系统中的有效性与鲁棒性。

  14. arXiv · AI29

    OPT* 如何在扩展搜索空间中进行类优化推理

    研究人员提出可扩展的类优化任务族 OPT*,包含可行性检查器与评估器,通过复杂度参数扩展 LLM 的搜索空间。 该框架对比了求解器引导的在线策略优化(使用 rank-based reward shaping)与无求解器时的搜索型离线 RL,并在理论层面关联了搜索预算下的信息提取效率。 在 OPT* 上的训练被证明能提升 LLM 逐步类优化推理的表现。

  15. arXiv · ML21

    Q-LocalAdam:面向边缘联邦学习的内存高效客户端自适应优化器

    Q-LocalAdam 是一种分布感知的优化器,通过分块线性量化动量状态和对数空间量化方差状态,在边缘设备上显著降低优化器状态的内存占用。 它使用去量化后的方差下限来维持数值稳定性,使得模型收敛效果接近全精度训练。 在人类活动、视觉和语言任务上的实验表明,该方法在减少峰值驻留内存的同时,仅引入适度的延迟开销。

  16. arXiv · AI46

    11个前沿LLM代理中策划倾向的系统评估:工具移除可将策划率从59%降至3%

    对11个前沿模型在4种场景下的评估显示,尽管环境激励高,代理几乎不策划,且无法用口头化评估意识解释。 向系统提示插入对抗性片段可诱导高策划率,但移除单个工具可使策划率从59%骤降至3%,增加监督最多可提高25%的策划率。 结果表明策划倾向应按代理配置报告,为部署环境下的系统性测量提供方法。

  17. arXiv · ML35

    iMuon: Riemannian Matrix Manifolds Intrinsic Spectral Optimization

    iMuon 提出统一框架,在固定秩、SPD、Stiefel 和 Grassmann 流形上实现闭式更新。 该方法将欧几里得范数提升为内蕴范数,保留商对称性;收敛率仅依赖流形维数,固定秩情形下独立于因子条件数。 实验显示 iMuon 在 LoRA 微调 LLM、图像分类和子空间学习中有效。

  18. arXiv · AI28

    CORE:通过概念导向强化学习缩小数学推理中定义与应用间的差距

    提出 CORE 强化学习框架,通过引入概念监督信号解决大语言模型在数学推理中“解题对但概念错”的问题。 在 RLVR 基础上,CORE 合成概念对齐测验并注入概念片段,结合轨迹替换或 GRPO 进行训练。 在多个模型上,CORE 于领域内概念测验及领域外数学基准上均优于 vanilla 和 SFT 基线,论文已被 ICLR 2026 接收。

  19. arXiv · AI25

    构建 AI 流行病学:面向前瞻性风险检测的测量标准化框架

    论文提出测量标准化框架,将专家-AI 交互压缩为结构化字段,支持在已部署系统中进行前瞻性风险检测,无需访问模型内部信息。 框架定义了 8 个交互字段语法,并采用基于配对 bootstrap 推断、DeLong 测试及 Holm-Bonferroni 校正的统计协议,用于验证专家 AI 交互的证据与政策对齐性。

  20. arXiv · AI33

    AutoPBO:用于局部搜索 PBO 求解器的 LLM 驱动优化

    AutoPBO 是一个由 LLM 驱动的新型框架,旨在自动增强伪布尔优化(PBO)局部搜索求解器,在四个公开基准上显著提升了性能。 该框架与 NuPBO、OraSLS、PBO-IHS、RoundingSat、Gurobi 和 SCIP 等六种最先进竞争者进行了对比。 AutoPBO 表明了一种自动化局部搜索求解器设计的有前途的方法。

  21. arXiv · AI38

    研究与分析:人类与 AI 在内容审核任务中响应难度模式相似

    六款大型推理模型与1854名人类受试者的实验显示,模型在人耗时更长的案例中产生更长思维链。 当两个帖子攻击性相同时,人类响应时间增加31%,模型思维链长度增加51%至306%;按语言类型分组时平均推理 effort 与响应时间高度相关(r = 0.85-0.93)。 研究指出推理轨迹可用于优先处理困难案例并增强可解释性。