跳到正文
11月13日周五
  1. arXiv · ML20

    知识蒸馏的两个数学模型

    研究者提出知识蒸馏的数学模型,证明蒸馏通过使优化轨迹更易优化来提升性能,而非获得更优模型。 在泛化线性模型和秩-1矩阵近似任务中,使用随机梯度下降训练时,蒸馏训练的学生模型均比非蒸馏模型更快地拟合或收敛。 该理论明确了蒸馏在优化速度而非泛化能力上的优势,实验结果也印证了这些理论预测。

  2. arXiv · ML23

    Class-Competence Aggregation:联邦多类 DDoS 检测下的输出层路由

    针对联邦学习中类集中非独立同分布(non-IID)数据导致特定类别失效的问题,提出 Class-Competence Aggregation(CCA)方法。 该方法利用客户端验证 F1 分数作为输出层聚合权重,在 CIC-DDoS2019 数据集上,将 LDAP 类别 F1 从 0% 提升至 84.83%,整体宏观 F1 达 91.64%,显著缩小了与中心化模型的差距。

  3. arXiv · ML33

    自回归语言模型序列级监督学习的困难

    自回归语言模型序列级监督学习存在根本性缺陷,两种自然尝试导致损失函数无下界。 通过自回归 Gumbel 技巧,基于采样的损失是 Gumbel 扰动下贪婪损失的期望。尽管停止梯度推导的矩匹配方向是有效下降方向,但其高方差使得教师强制可能仍是最佳选择。

  4. arXiv · ML23

    RHFF-LVM:可扩展的双曲潜变量模型

    研究者提出双曲潜变量模型RHFF-LVM,基于随机Helgason-Fourier特征,无需数值积分或变分界即可拟合双曲高斯过程。 模型在合成树结构上恢复了更忠实的度量,平均排名最佳,且在$Q\!=\!2$时表现显著提升。 RHFF-LVM在505秒内拟合$5\times10^{5}$个点,成为首个达到此规模的非参数双曲LVM。

  5. arXiv · ML37

    经验交接强化学习实现递归自我改进

    提出ACERL方法,在固定Agentic Context Engineering框架内通过强化学习共优化工具生成、反思与剧本策划行为,利用环境信息交接经验。 ACERL评估交接产物的下游影响,在智能体基准测试中取得优于基线方法的保留集表现。 结果表明智能体训练应优化未来推理所继承的模型生成经验。

  6. arXiv · ML21

    MutAtlas:基于 PDB 的全基因组蛋白质突变效应能量引导图谱

    MutAtlas 构建了覆盖 PDB 的突变增强数据集,整合物理能量模型、蛋白质语言模型及逆折叠模型的突变信号。通过无监督多源突变偏好蒸馏框架,模型在 ProteinGym 基准测试中超越了零样本基线及简单多源融合策略。该工作已接受 ICML 2026 会议录用,并公开了数据集与评估流程。

  7. arXiv · ML24

    DR-Diff 框架通过双重稳健目标校正克服条件扩散模型中的虚假相关性

    提出 DR-Diff 框架,通过函数梯度法构建伪目标,高效微调预训练条件扩散模型以解决训练数据中的虚假相关性。 该框架具备伪双重稳健性,能抵御密度比估计误差和基础模型误设;实验显示其在合成数据集上达到从头训练的噪声预测精度,并缓解分类任务中的组间差异。

  8. arXiv · ML26

    智能体在计算代数中的应用

    该研究通过解决计算代数问题,评估 AI 智能体发现并利用特定结构以降低计算成本的有效性。智能体可扩大固定预算内可求解系统范围,但推理开销有时大于节省;利用持久记忆可减少重复求解成本,但可能保留次优策略。编译生成快速可复用求解器需承担大量前期成本。计算代数为提升智能体结构和复用能力提供了具体可测目标。

  9. arXiv · ML43

    KVPath 论文:利用低维增量连接 Transformer 各层 KV 表示

    新范式 KVPath 通过将各层 KV 表示连接成路径,仅缓存第一层全维度基础 KV 及后续层的低维增量,在匹配参数量下将 GQA 的 KV 缓存存储减少最多 68%,MLA 减少 55%。 该方法包含两种变体:KVPath-Residual 通过残差加法更新向量值,KVPath-Rolling 以滚动方式逐步更新特征维度,均在维持或提升模型性能的同时显著降低存储开销。

  10. arXiv · ML21

    针对异构不完美示范者的离线转在线鲁棒模仿学习框架 LEOS-IL

    针对现实场景中示范者技能水平未知且数据质量混杂的模仿学习痛点,论文提出 LEOS-IL 框架。该框架从含噪离线数据中联合学习状态-动作最优性评分模型与每个示范者的潜在技能水平。 评分模型被整合进在线策略优化流程,利用智能体在线 rollout 迭代细化评分以缓解分布偏移。连续控制基准实验表明,该方法在异构低质量示范环境下持续优于现有基线。

  11. arXiv · ML23

    仅用样本校准条件生成模型的覆盖损失方法

    论文提出一种基于期望覆盖概率的可微分损失函数,仅需样本即可校准条件生成模型,无需密度估计或架构修改。 该方法被证明是严格散度,当且仅当模型等于真实后验时消失;在高维成像逆问题中,其校准性能优于评分规则正则化器,点估计重构质量变化不大。

  12. arXiv · ML31

    ORBIT:评估 LLM 在 IT 运维推理能力上的证据导向基准

    ORBIT 是一个包含选择题、开放题和故障排查三种格式并附带参考答案来源的 IT 运维基准。审计发现约 1/10 生成题目存在模板缺陷,被剔除后故障排查格式基于真实从业者线程重建。5 个 LLM 在独立评审下多数选择题答对,开放题答对率介于 1/3 到 50%+,故障排查题正确率较低;ORBIT 旨在辅助选择和监督助手而非部署测试。

  13. arXiv · ML28

    SpaceMCP:基于模型上下文协议的视觉语言模型空间推理框架

    提出 SpaceMCP 框架,利用前馈 3D 重建与开放词汇分割实时构建场景图,通过 MCP 风格的结构化函数调用增强 VLM 的空间推理能力。 无需训练即在 VSI-Bench、MMSI-Bench 和 VSTI-Bench 上取得 SOTA 结果,较基础 VLM 提升 15-22 分。 该范式为克服原生 VLM 空间推理进展缓慢提供了有前景的路径。

  14. arXiv · ML40

    LLM 强化学习是否必需重要性比率?

    LGPO 方法通过似然门控消除旧策略似然计算,证实移除重要性采样项不损害训练稳定性,移除信任区机制则导致崩溃。 相比重算旧策略似然的 GRPO,LGPO 平均减少约 18% 训练时间,且在 GRPO 失效的全在线策略训练中保持稳定。 该工作被 NeurIPS 2026 接收,支持更高效、稳健的 LLM 强化学习后训练。

  15. arXiv · ML26

    PhysXAI: 诊断气象基础模型物理幻觉的理论框架

    提出 PhysXAI 框架以检测气象基础模型中违反物理定律的“物理幻觉”。 该框架采用多分支编码器提取守恒、动力学及光谱残差,结合物理一致性对比学习优化诊断准确性。 在 ERA5、WeatherBench 2 和 MERRA-2 数据集上评估,使用 GraphCast、Pangu-Weather 和 NeuralGCM 的预报结果。

  16. arXiv · ML40

    Mask-Pattern Position Augmentation 实现扩散 LLM 免训练长上下文外推

    提出 Mask-Pattern Position Augmentation(MPPA)技术,实现扩散 LLM 免训练长上下文外推。 在 LLaDA-8B-Instruct 模型上,MPPA 将 8192 长度下的困惑度从 19.51 降至 3.12,实现 100% passkey 检索。 该技术通过累计掩码密度偏移恢复旋转位置相位分辨率,为扩散原生的长上下文生成提供新路径。

  17. arXiv · ML26

    CARMEN:基于十种生理信号预训练的循环呼吸基础模型

    研究团队推出单一编码器基础模型 CARMEN,在 227 万模态小时的十种循环呼吸波形上无监督预训练,覆盖动脉、静脉及呼吸机等信号。 模型支持 10 秒至 5 分钟的任意共记录信号组合,引入 LSCNorm 机制恢复绝对信号水平,使术中低血压检测 AUROC 从 0.780 回升至 0.894。 在 19 项任务中,冻结编码器在 12 项上优于监督模型,并在多数对比中匹敌或超越专用信号基础模型。

  18. arXiv · ML33

    Poison-then-Hide:针对预训练视觉编码器的微调激活后门攻击

    Poison-then-Hide 攻击在预训练编码器中植入休眠后门,全模型微调时激活,六数据集上攻击成功率达 97%。 方法包含触发器优化、编码器投毒及目标遗忘 concealment;联合学习良性任务对攻击成功至关重要。 标准检测与缓解防御无法彻底移除后门,良性微调后攻击可复现。

  19. arXiv · ML27

    图标签对齐:图分类的诊断图谱

    研究者提出图标签对齐诊断,通过结构标签对齐(SLA)和特征标签对齐(FLA)两个轻量探针,无需训练图编码器即可衡量标签可访问性。 在真实图分类基准上,SLA-FLA 平面能强力组织测试准确率,低对齐数据集构成了标准池化流水线难以应对的困难区域。 通过异质自我图和合成 Twins 任务的受控压力测试表明,高对齐解释了简单基准的高性能,而低对齐揭示了需要超越标准表示的结构-特征对应关系的机制。

  20. arXiv · ML26

    生成式 AI 时代对抗风险:为何需摒弃小 epsilon 球范式

    本文指出当前对抗机器学习过度聚焦于寻找 $\ell_p$ 范数下的小 epsilon 球,这种范式将防御者引向狭窄的数学鲁棒性优化,导致系统性安全被忽视。 研究认为该范式不仅无法降低风险,反而通过传递虚假安全感,激励攻击者利用未覆盖的对抗路径,进而加剧实际危害。 这是一篇发表于 NeurIPS 2026 的观点论文,主张在生成式 AI 时代应放弃对单一小扰动球的执念。

11月11日周三
  1. arXiv · NLP21

    语音转SFT流水线因子消融:数据质量与下游迁移的差异效应

    研究对语音转SFT流水线进行因子消融,验证各阶段边际价值。 基于2x2设计生成韩医金融QA数据,微调9个LLM(2.4B-70B)。四项LLM评判显示质量提升,但MCQA增益不显著。正向迁移集中于匹配模型-领域对。 6名专家确认全流程质量更高。Whisper-medium替换验证鲁棒性。开源代码及检查点。

  2. arXiv · NLP30

    无投影进化策略用于连续提示词搜索

    针对连续提示词搜索中高维难题,提出无投影进化策略方法,在 GLUE 基准七项任务上显著优于基线。 该方法直接在全维度空间优化,引入校准内在维度的自适应机制,并辅以置信度正则化以提升 few-shot 场景泛化能力。