跳到正文
10月22日周四
  1. arXiv · ML28

    DPO 计算图的随机剪枝:1.4 倍训练加速与峰值内存降低

    提出 DPO 计算图随机剪枝框架,通过独立采样响应位置、前缀及偏好分支来省略训练步骤中的计算。 该框架在两个模型家族上实现了相对于标准 DPO 约 30% 的训练时间缩短,并带来 1.426 倍的步骤时间加速,主要降低了峰值内存占用。 尽管平均准确率略有下降,但研究证实了随机图剪枝在资源效益与计算省略之间的直接关系。

  2. arXiv · ML23

    极值数据驱动学习中的相变研究

    该研究通过最小模型分析极值回归问题,揭示了梯度流中存在两个相变:内在冻结相变和检索相变。 研究推导了大袋 n 和高维 d 极限下的梯度流低维投影,数值模拟确认了相图及有限规模训练梯度向预测渐近形式的收敛。

  3. arXiv · ML21

    纵向 EHR 中联合嵌入预测目标是否有效?

    在 MIMIC-IV 数据集上的实证研究表明,三种 JEPA 变体均能稳定训练但无法避免表征崩溃,且性能持续低于标准 MLM。 研究发现目标尺寸而非目标异质性导致预测误差增加,且缩小目标尺寸也无法恢复下游任务表现。这表明仅靠稳定的潜在预测不足以实现有竞争力的 EHR 表征学习。

  4. arXiv · ML31

    Harness Scaling:提升智能体强化学习跨框架泛化能力的扩展维度

    Harness Scaling 是一种新的智能体强化学习扩展维度,通过扩展训练至多样化执行配置,解决单一固定框架导致的性能专精与跨配置迁移受限问题。 该方法构建因子化框架空间,选择平衡覆盖的紧凑子集进行跨框架训练,在多个基准测试中一致提升对未见白框配置的泛化能力。 结构化的白框变化训练能有效迁移至未见黑框框架,性能优于仅通过单一复杂黑框训练的模型。

  5. arXiv · AI41

    如何利用平行数据实现多语言预训练

    研究者提出结合平行预训练与标准预训练的两阶段方法,在同等计算预算下持续提升多语言理解与跨语言任务表现。 该方法首先通过平行预训练建立跨语言基础,再使用标准预训练适应单语任务输入,有效克服了传统独立采样无法利用平行结构的问题。 该策略在高资源与低资源场景中均优于纯标准预训练。

  6. arXiv · ML28

    研究揭示 LLM 中数据排程与学习率排程应联合设计

    研究表明,在 LLM 中训练阶段,完全从预训练数据切换到中训练数据并非总是最优。 若学习率全程衰减,更早引入中训练数据并混合预训练数据可降低最终损失;但若使用恒定学习率,该结论反转。 实验发现,应在中训练数据进入后再衰减学习率,最优数据排程依赖于具体学习率策略。

  7. arXiv · ML25

    YingLan 多模态海洋基础模型实现异质观测统一表征学习

    研究团队发布多模态海洋基础模型 YingLan,旨在解决卫星、网格场及浮标等异质观测数据的统一表征难题。模型集成物理属性条件动态编码与时空增量耦合(STIC)机制,基于华为昇腾 910B NPU 进行预训练。在深圳近海 7 天海表盐度预报任务中,YingLan 平均 RMSE 为 0.687508 PSU,相对误差较对比模型降低最高达 12.42%。

  8. arXiv · ML38

    SST框架缓解持续域适应中的灾难性遗忘

    SST框架通过技能模式传输缓解大语言模型持续域适应中的灾难性遗忘。该框架将新领域知识映射至模型现有技能空间,避免模型向旧状态回归。 在两个3B指令微调骨干模型上,SST使流式领域平均最终性能提升2.53至5.75分,并将最大遗忘度从42.41分降至7.10分。 SST在NeurIPS 2026主会发表,能改善对相关任务的泛化能力并显著恢复顺序更新导致的分布外退化。

  9. arXiv · ML27

    潜在几何视角下高斯先验在强化学习微调中失效的机制研究

    高斯先验在强化学习微调中因结构性限制导致坍缩,多模态数据下 ELBO 最优解压缩模式造成重叠。 在真实丙氨酸二肽玻尔兹曼分布中,高斯先验 VAE 坍缩阈值 beta_c 为 0.224,而高斯混合先验仅为 0.00316,差距达 71 倍。 通过几何中介量 d_min/(2 sigma_0) 验证因果链,证明非高斯先验在覆盖敏感任务中是必要修正。

  10. arXiv · ML23

    COSMOS 模型无关个性化联邦学习框架

    COSMOS 框架通过仅交换伪标签实现服务端个性化联邦学习,支持异构客户端。 该框架依据预测相似度将客户端聚类,并为每个群组训练特定模型再蒸馏回客户端,实现了指数级个性化风险收缩。 实验表明 COSMOS 性能优于模型无关基准,且在高度异构环境中展现了规模化应用的潜力。

  11. arXiv · ML28

    SCOPE: 用于长尾联邦学习的可扩展免训练语义核心集选择

    SCOPE 提出一种免训练的联邦学习核心集选择框架,利用冻结的视觉语言模型对样本进行单次评分,无需预热训练且仅单次上传基于类别数量的标量统计。 在 4 个数据集上,SCOPE 选择速度提升 7.7 倍,上传数据减少 293 倍;使用其核心集训练全局模型,能在比全量数据训练少 18%–42% 的全局轮次内达到全量数据 98% 的精度。

  12. arXiv · ML21

    数据与物理融合的混沌时空系统降阶建模

    提出混合降阶模型(ROM),结合数据与全阶模型(FOM)改进混沌时空动力学预测。 模型在自编码器发现的不变流形上投影 FOM 向量场,并用神经常微分方程修正或作为贝叶斯先验。在 Kuramoto-Sivashinsky 和复杂 Ginzburg-Landau 方程模拟中,混合方法在数据丰富、稀缺甚至 FOM 参数错误时,时间序列预测均显著优于纯数据方法。

  13. arXiv · ML26

    利用训练后的神经切线核学习材料空间几何

    该研究利用评估于训练后参数的神经切线核,恢复了预测超导转变温度的神经网络所学习的几何结构。基于该内核的岭回归表现接近原网络,且显著优于初始内核回归。 光谱分析与多维标度显示该几何由少数主导方向构成,聚类分析据此将化合物组织为可识别的超导族。 研究确立了训练切线核作为探测材料表征学习的有效工具,连接了属性预测与材料空间探索。

  14. arXiv · ML22

    基于 FlexAttention 的高效边缘感知注意力网络用于图生成

    针对图生成模型无法利用硬件感知注意力实现且内存占用高的问题,提出一种边缘感知注意力层。 该层通过头级分数调制注入结构信息,利用 PyTorch FlexAttention 实现,将峰值 GPU 内存降低 65%,并显著提升训练与采样吞吐量。 该架构为可扩展的图基础模型提供了实践路径。

  15. arXiv · ML31

    TabICLv2 预训练二元分类先验足以实现多类表格零样本预测

    将 TabICLv2 预训练中的分类先验类别数上限从 10 降至 2,其零样本多类分类性能不降反升。在 TabArena 38 个数据集上,该策略 Elo 分达 1590.1,超越默认配置 1568.0 及 TabPFN-v2.6 的 1577.1。60 家信贷机构验证显示,44 家机构的测试 AUC 显著提升。该发现将类别数降为超参数,开启类别数无关的 TFM 预训练范式。

  16. 36氪85

    哈佛团队用4000万张人脸训练FAHR-Face,仅凭照片预测癌症患者死亡风险

    马萨诸塞州总医院百瀚癌症研究所在《柳叶刀·数字健康》发表FAHR-Face研究,用超过4000万张无标签人脸照片训练基础模型,再基于34363张癌症患者照片微调出FAHR-FaceSurvival,可用一张面部照片预测癌症患者生存风险。

    推荐理由:研究提供了用面部图像量化生存风险的具体指标和误差边界,读者可判断其在临床决策中的价值与局限。

  17. LessWrong · All Posts21

    浅层审视技术 AI 安全研究版图

    作者基于 Shallow Reviews of Technical AI Safety 2023-2025 年数据,构建语义地图以厘清 AI 安全研究方向。 数据经 BGE-small-v1.5 嵌入,通过 UMAP 降维及 HBDSCAN 聚类生成,旨在回应先前对可解释性研究规模的低估。 该地图直观呈现研究主题分布,辅助识别被忽视的关键领域。

  18. OpenAI (X)90

    OpenAI 提供 Codex 技能包以检查 PHP 漏洞影响

    OpenAI 发布了一个 Codex 技能包,帮助用户检查其网站是否受 PHP 关键安全漏洞影响。用户可通过将 Codex 指向指定 GitHub 仓库(github.com/openai/php2shell-checker)来执行该检测流程。此技能包是在 OpenAI 主导发现 PHP 引擎严重漏洞并协调披露的背景下推出的。

    推荐理由:官方提供了用于检测PHP漏洞的Codex技能包,读者可直接复用该工具评估站点安全性。

10月21日周三
  1. HackerNoon · AI35

    机器学习交易系统为何不足以支撑创业:AI 辅助验证结果

    作者通过 AI 模型辅助分析,发现其机器学习交易系统仅适合个人使用,不适合创业。 两个独立模型均判定该系统仅限个人使用,第三个模型虽指出前两者的共同错误,但作者提出的 25 个反驳论点均未能改变最终结论。 由于微小的优势需要数十年真实资金交易才能验证其有效性,该系统在短期内无法证明其足以支撑商业化的可行性。

  2. Seven Minute Feed71

    中国设立国有National Data Group以推动AI产业

    中国在雄安新区设立了中央国有企业 National Data Group。该公司的主要使命是开发和使用国家数据资源,服务AI发展并建设数据产业。这一举措将训练数据视为战略性国家基础设施,为北京提供了一个集中汇集和向AI开发者提供数据的机构,以应对与美国日益激烈的竞争。