DPO 计算图的随机剪枝:1.4 倍训练加速与峰值内存降低
提出 DPO 计算图随机剪枝框架,通过独立采样响应位置、前缀及偏好分支来省略训练步骤中的计算。 该框架在两个模型家族上实现了相对于标准 DPO 约 30% 的训练时间缩短,并带来 1.426 倍的步骤时间加速,主要降低了峰值内存占用。 尽管平均准确率略有下降,但研究证实了随机图剪枝在资源效益与计算省略之间的直接关系。
提出 DPO 计算图随机剪枝框架,通过独立采样响应位置、前缀及偏好分支来省略训练步骤中的计算。 该框架在两个模型家族上实现了相对于标准 DPO 约 30% 的训练时间缩短,并带来 1.426 倍的步骤时间加速,主要降低了峰值内存占用。 尽管平均准确率略有下降,但研究证实了随机图剪枝在资源效益与计算省略之间的直接关系。
该研究通过最小模型分析极值回归问题,揭示了梯度流中存在两个相变:内在冻结相变和检索相变。 研究推导了大袋 n 和高维 d 极限下的梯度流低维投影,数值模拟确认了相图及有限规模训练梯度向预测渐近形式的收敛。
在 MIMIC-IV 数据集上的实证研究表明,三种 JEPA 变体均能稳定训练但无法避免表征崩溃,且性能持续低于标准 MLM。 研究发现目标尺寸而非目标异质性导致预测误差增加,且缩小目标尺寸也无法恢复下游任务表现。这表明仅靠稳定的潜在预测不足以实现有竞争力的 EHR 表征学习。
Harness Scaling 是一种新的智能体强化学习扩展维度,通过扩展训练至多样化执行配置,解决单一固定框架导致的性能专精与跨配置迁移受限问题。 该方法构建因子化框架空间,选择平衡覆盖的紧凑子集进行跨框架训练,在多个基准测试中一致提升对未见白框配置的泛化能力。 结构化的白框变化训练能有效迁移至未见黑框框架,性能优于仅通过单一复杂黑框训练的模型。
提出名为 BIRD-RL 的四阶段 Agentic 强化学习框架,专门解决 SQL 调试等数据密集型任务中的状态隔离难题。该框架利用 Trajectory-scoped Persistent Execution Infrastructure,实现 12.8 倍空间效率提升,无需 Kubernetes 即可进行可扩展训练。
研究者提出结合平行预训练与标准预训练的两阶段方法,在同等计算预算下持续提升多语言理解与跨语言任务表现。 该方法首先通过平行预训练建立跨语言基础,再使用标准预训练适应单语任务输入,有效克服了传统独立采样无法利用平行结构的问题。 该策略在高资源与低资源场景中均优于纯标准预训练。
研究表明,在 LLM 中训练阶段,完全从预训练数据切换到中训练数据并非总是最优。 若学习率全程衰减,更早引入中训练数据并混合预训练数据可降低最终损失;但若使用恒定学习率,该结论反转。 实验发现,应在中训练数据进入后再衰减学习率,最优数据排程依赖于具体学习率策略。
研究团队发布多模态海洋基础模型 YingLan,旨在解决卫星、网格场及浮标等异质观测数据的统一表征难题。模型集成物理属性条件动态编码与时空增量耦合(STIC)机制,基于华为昇腾 910B NPU 进行预训练。在深圳近海 7 天海表盐度预报任务中,YingLan 平均 RMSE 为 0.687508 PSU,相对误差较对比模型降低最高达 12.42%。
该研究在三个临床队列和一个可穿戴队列上,比较了容量匹配的量子、多层感知机和逻辑回归模型。在五个隐私预算和五个随机种子下,量子模型在临床队列的平均ROC AUC领先最多0.104,但在参与者较少的可穿戴队列中表现落后。
NormTune 提出一种范数引导策略,通过自适应强化更新不足层提升参数高效微调在推理任务中的表现。 在 S1K-1.1 训练集上,该方法使 rank-8 LoRA、Bone 和 MoRA 在 AIME 2024、MATH 500、GPQA 等基准测试中平均准确率分别提升 24.24%、11.33% 和 16.21%。
SST框架通过技能模式传输缓解大语言模型持续域适应中的灾难性遗忘。该框架将新领域知识映射至模型现有技能空间,避免模型向旧状态回归。 在两个3B指令微调骨干模型上,SST使流式领域平均最终性能提升2.53至5.75分,并将最大遗忘度从42.41分降至7.10分。 SST在NeurIPS 2026主会发表,能改善对相关任务的泛化能力并显著恢复顺序更新导致的分布外退化。
高斯先验在强化学习微调中因结构性限制导致坍缩,多模态数据下 ELBO 最优解压缩模式造成重叠。 在真实丙氨酸二肽玻尔兹曼分布中,高斯先验 VAE 坍缩阈值 beta_c 为 0.224,而高斯混合先验仅为 0.00316,差距达 71 倍。 通过几何中介量 d_min/(2 sigma_0) 验证因果链,证明非高斯先验在覆盖敏感任务中是必要修正。
ReAPO 提出一种基于随机最短路径框架的重试感知策略优化方法,通过为失败轨迹分配额外生成机会,在强化学习验证(RLVR)中提升大语言模型推理效率。该方法在 Qwen3 和 OLMo-2 模型(0.6B 至 4B)上验证,于八项数学与科学推理基准中表现优于 GRPO 及近期基线算法。
研究团队通过120种配置分析持续预训练对具身代理的影响。测试涵盖0.8B至27B模型、50至1,600小时数据及5种混合方案。 结果表明:更多数据提升内部表现,多样性增强相关世界迁移,更大模型提高数据效率但降低远距离泛化。
针对检索增强生成(RAG)中歧义查询的识别与澄清问题,研究发布数据集ClariEdge,包含约3,900个示例。 轻量级LoRA微调在该数据集上达到96.6%分类准确率,性能超越多个更大模型的提示词基线,且适用于检索前和检索后两种RAG场景。
结合降维与量化可将文本嵌入存储降低至不足 0.1%,同时在 MTEB 分类任务中保留至少 99% 的原生得分。 该结论基于五个预训练模型在 Massive Text Embedding Benchmark 四个任务族上的系统评估。 不同任务对维度与位宽平衡的偏好各异,其中检索任务对压缩更为敏感。
Psy-Chronicle 提出事件驱动框架,基于学生学期时间线生成多会话咨询,产出开源中文数据集 CPCD。 CPCD 包含 100 名学生及 1,248 个跨整个学期的会话。在基础质量及工作联盟指标上超越现有单会话语料库。
FEAST 提出联邦共享空间训练框架,通过子超网路由和稀疏聚合解决客户端推理预算差异导致的参数访问不均问题。在 596M 推理 MACs 下,FEAST 达到 71.06% 准确率,比最强权重共享基线高 2.4 点;子超网路由将总模型参数通信流量减少 6.8 倍。
COSMOS 框架通过仅交换伪标签实现服务端个性化联邦学习,支持异构客户端。 该框架依据预测相似度将客户端聚类,并为每个群组训练特定模型再蒸馏回客户端,实现了指数级个性化风险收缩。 实验表明 COSMOS 性能优于模型无关基准,且在高度异构环境中展现了规模化应用的潜力。
SCOPE 提出一种免训练的联邦学习核心集选择框架,利用冻结的视觉语言模型对样本进行单次评分,无需预热训练且仅单次上传基于类别数量的标量统计。 在 4 个数据集上,SCOPE 选择速度提升 7.7 倍,上传数据减少 293 倍;使用其核心集训练全局模型,能在比全量数据训练少 18%–42% 的全局轮次内达到全量数据 98% 的精度。
提出混合降阶模型(ROM),结合数据与全阶模型(FOM)改进混沌时空动力学预测。 模型在自编码器发现的不变流形上投影 FOM 向量场,并用神经常微分方程修正或作为贝叶斯先验。在 Kuramoto-Sivashinsky 和复杂 Ginzburg-Landau 方程模拟中,混合方法在数据丰富、稀缺甚至 FOM 参数错误时,时间序列预测均显著优于纯数据方法。
TerraNostra-Bench 提出了一种结合粗分辨率情景数据与静态地质特征生成 1km 年际土地利用地图的数据驱动框架,并将土地利用重构视为语义分割任务。
该研究利用评估于训练后参数的神经切线核,恢复了预测超导转变温度的神经网络所学习的几何结构。基于该内核的岭回归表现接近原网络,且显著优于初始内核回归。 光谱分析与多维标度显示该几何由少数主导方向构成,聚类分析据此将化合物组织为可识别的超导族。 研究确立了训练切线核作为探测材料表征学习的有效工具,连接了属性预测与材料空间探索。
研究者提出Guided Diffusion范式,利用扩散语言模型的可导向性,在两个数据集和两个扩散骨干模型上优于Private Evolution和基于DP-SGD的微调方法。
针对图生成模型无法利用硬件感知注意力实现且内存占用高的问题,提出一种边缘感知注意力层。 该层通过头级分数调制注入结构信息,利用 PyTorch FlexAttention 实现,将峰值 GPU 内存降低 65%,并显著提升训练与采样吞吐量。 该架构为可扩展的图基础模型提供了实践路径。
一项研究追溯了七个开源 RL 后训练框架的提交历史,分析了 2025 年 1 月至 2026 年 6 月期间 6,939 篇 arXiv 论文的纳入情况。 在 1,598 篇提出通用 RL 训练方法的论文中,仅有 37 篇被至少一个框架纳入,各季度队列中 180 天内纳入数量维持在 5 至 7 篇。
研究证实,在固定源照片和人工说明词的情况下,通过选择近重复图像即可将偏好潜意识传递给其他模型。 LLaVA-1.5、Qwen3-VL 等模型中,基于选择结果的模型在目标比对分数上显著高于随机基准,且该偏好可跨代传递。
将 TabICLv2 预训练中的分类先验类别数上限从 10 降至 2,其零样本多类分类性能不降反升。在 TabArena 38 个数据集上,该策略 Elo 分达 1590.1,超越默认配置 1568.0 及 TabPFN-v2.6 的 1577.1。60 家信贷机构验证显示,44 家机构的测试 AUC 显著提升。该发现将类别数降为超参数,开启类别数无关的 TFM 预训练范式。
研究人员提出通过线性塑形增强稀疏自编码器(SAE)的语义选择性。 基于 J 空间平均 Jacobian 的秩降变换,投影至大奇异值本征模式子空间。 引入 MF-SAE 方法,联合学习仿射变换与字典原子,并在 SAEBench 等基准上验证了优势。
美光预告 G11 NAND 闪存,采用超 400 层堆叠技术,预计 2027 下半年产能爬坡。 按面积计算密度约为 276 层 G9 NAND 的 2 倍,I/O 速率提升 1.5 倍,能耗降低 25% 以上。
马萨诸塞州总医院百瀚癌症研究所在《柳叶刀·数字健康》发表FAHR-Face研究,用超过4000万张无标签人脸照片训练基础模型,再基于34363张癌症患者照片微调出FAHR-FaceSurvival,可用一张面部照片预测癌症患者生存风险。
推荐理由:研究提供了用面部图像量化生存风险的具体指标和误差边界,读者可判断其在临床决策中的价值与局限。
在单台 trn2.48xlarge 实例上,通过 torchtitan 提供了三种训练 Qwen3 的方法。 这些方法包括使用 Transformers v5、tochtitan 原生模型规范以及添加 NKI MoE 内核。 环境需安装指定版本的 torch, torch_neuronx 和 transformers。
一篇题为《Stronger artificial intelligence breakthroughs hasten their own exhaustion》的新论文分析了7.18 million篇计算机科学论文及3.7 million名研究者的迁移数据,指出自2017年以来,AI研究的极度集中正在侵蚀驱动未来创新的跨学科思想多样性。
一篇 2026 年 10 月 7 日发表于 Nature 的论文提出“byteification”流程,将现有子词大模型转换为字节级模型。该方法仅在典型预训练预算的 1% 以内(总计 491 亿 token)完成转换。
作者基于 Shallow Reviews of Technical AI Safety 2023-2025 年数据,构建语义地图以厘清 AI 安全研究方向。 数据经 BGE-small-v1.5 嵌入,通过 UMAP 降维及 HBDSCAN 聚类生成,旨在回应先前对可解释性研究规模的低估。 该地图直观呈现研究主题分布,辅助识别被忽视的关键领域。
OpenAI 发布了一个 Codex 技能包,帮助用户检查其网站是否受 PHP 关键安全漏洞影响。用户可通过将 Codex 指向指定 GitHub 仓库(github.com/openai/php2shell-checker)来执行该检测流程。此技能包是在 OpenAI 主导发现 PHP 引擎严重漏洞并协调披露的背景下推出的。
推荐理由:官方提供了用于检测PHP漏洞的Codex技能包,读者可直接复用该工具评估站点安全性。
作者通过 AI 模型辅助分析,发现其机器学习交易系统仅适合个人使用,不适合创业。 两个独立模型均判定该系统仅限个人使用,第三个模型虽指出前两者的共同错误,但作者提出的 25 个反驳论点均未能改变最终结论。 由于微小的优势需要数十年真实资金交易才能验证其有效性,该系统在短期内无法证明其足以支撑商业化的可行性。
行业研究显示,AI正推动东南亚数字经济增长至3680亿美元,尽管面临价格上涨和需求疲软。 这一预测为AI投资从美向中国以外新兴市场扩散提供了新证据。
BlackRock CEO Larry Fink 指出,数据中心建设延迟可能推高计算成本并威胁经济增长,其观点认为 AI 基础设施不足比泡沫风险更具宏观威胁。
中国在雄安新区设立了中央国有企业 National Data Group。该公司的主要使命是开发和使用国家数据资源,服务AI发展并建设数据产业。这一举措将训练数据视为战略性国家基础设施,为北京提供了一个集中汇集和向AI开发者提供数据的机构,以应对与美国日益激烈的竞争。