跳到正文
10月6日周二
  1. arXiv · ML21

    去中心化学习中局部拓扑演化对群体扩展与数据稀释的影响:基于 CIFAR-10 的实验研究

    在 CIFAR-10 上对比 Ring、Static Random 及 LFHE 拓扑发现,固定名义本地数据集规模能显著缓解客户端数量增加带来的性能损失。 Ring 拓扑的 Metropolis 谱间隙随规模 N 呈 $O(N^{-2})$ 衰减导致高分歧,而 Static Random 与 LFHE 维持接近共识。 去中心化扩展由学习/通信耦合动态主导,单纯客户端数量 N 无法单独解释结果。

  2. arXiv · ML26

    副阈限学习为何需大量数据:基于引导向量恢复的含噪逆问题视角

    副阈限学习通常需要数万载体样本,因含噪逆问题中硬监督会放大 Fisher 矩阵反转导致的噪声。 实验对比 Qwen2.5-7B 与 Gemma-2-9B,发现软监督仅需数百样本即可精确恢复 $\Delta_T$,而硬监督即使增加数据量也恢复效果差。 该发现表明大数据量的核心作用是抑制标签噪声,而非单纯揭示特征,相关代码已开源。

  3. arXiv · ML29

    贪婪局部学习用于语言模型预训练:差距与目标设计

    贪婪分块局部学习在语言模型预训练中相比端到端训练存在性能差距,且辅助目标设计对缩小差距至关重要。 在125M和400M参数规模下,将MLP辅助损失替换为Transformer可恢复22%-41%的差距;多token预测辅助目标在第一块边界有效。 部署式分块执行可将激活内存减少至多2.2倍,该研究为去中心化模型并行训练提供了实证基础。

  4. arXiv · ML29

    机器遗忘中用户删除请求行为建模分析

    研究人员在机器遗忘框架下定义了自适应性与集体性两类用户删除请求行为,并证明群体行为差异会导致模型受影响的理论差距。 利用数据估值技术,该研究设计出能显著改变现实场景中模型行为的删除请求机制。 在计算机视觉任务实验中,研究者隔离并验证了不同用户行为模型对机器遗忘效果的差异化影响。

  5. arXiv · ML33

    PaLoRA: 用于持续学习的节奏化低秩适应

    研究揭示 LoRA 持续学习中固定小学习率无法阻止遗忘随知识有效秩增长而加剧。 PaLoRA 结合自适应 SVD 截断、梯度子空间投影及节奏控制,在 50 任务基准上提升 4% 准确率。 该成果已被 NeurIPS 2026 接收,并在长时程场景表现出显著优势。

  6. arXiv · ML34

    SNACK 实现 GPU 上真正稀疏神经网络

    SNACK 提出了一种仅在 GPU 上存储和计算非零连接的真正稀疏层,在 95% 稀疏度下比掩码稠密基线快 7 倍。 该层提供 PyTorch API 和 SNACK-COO 自定义 CUDA kernel,在 90% 稀疏度下训练加速 8 倍,显存使用比稠密层低 72%。 SNACK 已被 NeurIPS 2026 接收,在 GPT-2 上以 99% 稀疏度将推理延迟降低 4.8 倍。

  7. arXiv · ML20

    综述:Ising 机器的概率算法——从优化到生成式 AI

    本综述调研了跨 Ising 平台的概率算法,涵盖模拟退火和并行退火等基础方法,重点介绍了 PAOA 算法。 PAOA 是 QAOA 的经典类似物,源自概率硬件开发;生成式 AI 与 Ising 机器相互促进,学习模型加速优化,概率技术改进大语言模型推理。 此类共同设计框架有望推动下一代 Ising 机器能力的提升与普及。

  8. arXiv · ML30

    基于晶体生成器离散组合通道的强化学习:验证增益与奖励漏洞

    采用组相对策略优化(GRPO)结合随机插值和离散流匹配对齐晶体生成模型,将亚稳态独特新颖结构(mSUN)良率从预训练的13.4%提升至45.5%。 该方法直接作用于原子类型转移似然,同时暴露出基准中单元素结构被误计入新化合物的指标漏洞,并指出需通过显式防护防止奖励利用。 研究建议社区基准应按参考相数量拆分结果,以确保稳定性声明的严谨性。

10月5日周一
  1. arXiv · ML41

    密集不等于更好:持续后训练中自蒸馏策略优化的局限

    研究表明,自蒸馏策略优化(SDPO)在教师信号稳定时能加速领域内专业化,但在持续后训练中表现出更严重的遗忘,甚至导致模型崩溃,泛化能力不及 GRPO。 分析发现,参数与响应空间的漂移以及自增强师生循环放大的高频伪影是导致这些失败的主要原因。 因此,仅依靠在策略数据不足以实现持续学习,自蒸馏不应被视为持续后训练的默认稳定器。

  2. arXiv · ML28

    基于样本的生成模型决策感知训练方法

    针对基于样本的生成模型在高风险决策场景中的概率预测需求,该研究提出决策感知训练方法。通过在能量得分目标中引入可微分决策损失,该方法直接惩罚依据模型预测采取行动所产生的成本。实验在合成任务、风力发电调度和霜冻防护任务中验证,模型在保留完整概率预测的同时,更好地对齐了决策者的特定成本结构。

  3. arXiv · ML20

    开放团队多智能体强化学习中的换手正交信用分配

    该研究提出换手正交信用分配方法,用于解决开放团队多智能体强化学习中因智能体流动导致的信用分配混淆问题。该方法通过价值分解将动作效应与纯换手效应分离,并设计了对称不变集中式 critic。在动态传播基准测试中,该方法在高换手率下取得了最佳平均回报,且性能优于移除交互信用的消融模型。

  4. arXiv · ML33

    Pivot-SD:掩码扩散语言模型的高效自蒸馏框架

    研究团队提出 Pivot-SD,一种用于掩码扩散语言模型(dLMs)的高效离线自蒸馏框架。该方法通过信息增益指标筛选高影响承诺点,并使用 200 道题目和每条轨迹 4 次滚动的数据,提升了 LLaDA-8B-Instruct 在数学与代码基准上的表现,效果优于全序列 SFT 和匹配预算的扩散 RL 基线。该论文被 EMNLP 2026 主会接收并设为口头报告。

  5. arXiv · ML23

    预注册基准研究揭示小型训练集下深度表格生成模型性能困境

    这项预注册基准研究在 2,220 次实验中评估了 CTGAN、TVAE、TabDDPM 等 7 种深度表格生成模型在 200 至 20,000 行数据规模下的表现。结果显示,在 24 个数据集与模型组合中,有 23 个深模型在任何测试规模下均未能以超越种子噪声的优势击败最佳简单基线,且深模型排名在小规模下表现出高于 0.8 阈值的稳定性。

  6. arXiv · ML28

    AIBL:基于结构化记忆与神经嵌入的增强实例学习

    论文提出 AIBL(Augmented Instance-Based Learning),将符号实例学习泛化到学习向量空间,利用神经嵌入相似性替代手动匹配规则。模型引入活跃、遗忘和惊讶存储结构,通过观察驱动的晋升算法将重复的惊讶实例转为活跃记忆,以应对概念漂移。在五个机器学习任务和三个模拟任务中,AIBL 相比传统 IBLT 变体准确率提升 6 至 17 个百分点。

  7. arXiv · ML23

    大型语言模型中合并坍缩的预测与修复

    研究发现,专家任务向量的方差可作为干扰指标,预测大语言模型合并时的性能坍缩。研究提出的 PRISM 算子通过平均任务向量并按层干扰水平进行软阈值处理,无需数据或调优,可将所有 5 个破坏性合并的性能保持在基础模型水平附近。

  8. arXiv · ML35

    合成关系数据如何赋予模型使用关系的能力?追溯预测结构从预训练数据到模型行为

    研究通过四种 Relational Transformer 检查点揭示合成关系数据中跨表预测结构对模型学习关系机制的作用。RelDiff 模型对外键干预表现出最大敏感性,且该优势可通过推理时破坏相应机制消除。结果建立了合成数据属性、学习机制与下游行为之间的联系。

  9. arXiv · ML38

    自适应二阶求解器用于快速随机扩散采样

    研究将比例积分(PI)步长控制应用于扩散模型,利用噪声归一化误差估计器实现更平滑的步长自适应。在自然图像数据集上,该方法配合随机 Heun 采样器的固定离散化策略在 FID 指标上优于 EDM 调度;在语言扩散任务中,求解器在低至中等 NFE 下的困惑度优于 EDM 和熵调度,但 token 熵较低。

  10. arXiv · ML22

    LLM 压缩能力缩放规律研究

    针对 LLM 压缩中方法选择依赖经验的问题,研究提出了一套能力缩放规律框架,系统性评估了剪枝、量化和蒸馏在数学、代码及问答任务上的能力损失。在 Pythia 和 OLMo-2 模型上,通过共享密度响应,该框架将拟合剪枝预测器所需的配置测量次数减半,误差控制在 0.020 nats 以内。跨两个模型族的独立评估表明,基于该规律的数值选择策略能有效捕获问答任务中大部分跨方法性能收益。

  11. arXiv · ML21

    AI 驱动的热感知数据中心容量规划框架

    针对 LLM 导致的热管理挑战,该工作提出一个能在数秒内完成热感知容量规划的 AI 驱动框架。内嵌 AI 模型基于机架功率、HVAC 设置等参数实现毫秒级温度预测,在未见设计中对比高保真 CFD 模拟实现了 10000X 加速。该框架支持设计者与运营者即时优化负载分布及冷却效率,相关内容已在 DesignCon 2026 呈现。

  12. arXiv · ML27

    美国建筑电表数据 AI 需求预测中的数据接入验证:设计、受控评估与修正的阴性结果

    针对美国电表数据中常见的缺失、冻结等缺陷,报告展示了一条在预测时点利用可用信息进行检测与修复的数据接入管道。受控实验表明,当缺陷影响 0.10% 的训练时段时,该管道将梯度提升预测器的误差从 1.415 修正至 0.729,使其恢复至干净数据水平,同时保留了 93% 的训练目标。

  13. arXiv · ML38

    Latent-MOPD:基于潜空间的多教师在线策略蒸馏方法

    研究人员提出 Latent-MOPD,这是一种在表示级别实现 LLM 多教师在线策略蒸馏的方法。该方法通过整合专家模型的预测分布与隐状态,无需额外训练教师模型,在数学、代码和逻辑等九项基准测试中均优于仅使用 token 或仅使用表示的基线。在参数规模与单一教师相同的情况下,学生模型在大多数基准上超越了表现最佳的教师。