ORCA 优化器通过退火谱条件化加速 LLM 训练
ORCA(Orthogonal Regularization, Cooled After)在 LLaMA、Qwen3 及 MoE 模型(130M-8B 参数)上实现了低于 Muon 的最终验证损失。 其损失相对 Muon 的缩减幅度匹配或超过了 Muon 相对 Adam 的优势,且无需架构修改、开销极小。
ORCA(Orthogonal Regularization, Cooled After)在 LLaMA、Qwen3 及 MoE 模型(130M-8B 参数)上实现了低于 Muon 的最终验证损失。 其损失相对 Muon 的缩减幅度匹配或超过了 Muon 相对 Adam 的优势,且无需架构修改、开销极小。
在 CIFAR-10 上对比 Ring、Static Random 及 LFHE 拓扑发现,固定名义本地数据集规模能显著缓解客户端数量增加带来的性能损失。 Ring 拓扑的 Metropolis 谱间隙随规模 N 呈 $O(N^{-2})$ 衰减导致高分歧,而 Static Random 与 LFHE 维持接近共识。 去中心化扩展由学习/通信耦合动态主导,单纯客户端数量 N 无法单独解释结果。
针对 DeepSeek-R1-Distill-Qwen-1.5B 和 Qwen2.5-Math-1.5B 的 18 次后训练运行显示,单一检查点的每问题增益预测准确率(0.52)显著高于先验信号(0.34)。
副阈限学习通常需要数万载体样本,因含噪逆问题中硬监督会放大 Fisher 矩阵反转导致的噪声。 实验对比 Qwen2.5-7B 与 Gemma-2-9B,发现软监督仅需数百样本即可精确恢复 $\Delta_T$,而硬监督即使增加数据量也恢复效果差。 该发现表明大数据量的核心作用是抑制标签噪声,而非单纯揭示特征,相关代码已开源。
论文提出 ResOPD 方法,通过尾部残差化提供无偏的全词汇反向 KL 梯度估计。该方法将未观测词汇聚合为可观测的尾部事件,仅采样尾部内细粒度残差,无需额外教师查询。实验表明 ResOPD 显著降低梯度方差,稳定训练动态并提升下游性能。
贪婪分块局部学习在语言模型预训练中相比端到端训练存在性能差距,且辅助目标设计对缩小差距至关重要。 在125M和400M参数规模下,将MLP辅助损失替换为Transformer可恢复22%-41%的差距;多token预测辅助目标在第一块边界有效。 部署式分块执行可将激活内存减少至多2.2倍,该研究为去中心化模型并行训练提供了实证基础。
EasyClassifier 是一款开源 Python 包,通过无代码多选问答引导用户完成从 CSV/Excel 数据到完整分析的流程,旨在消除数据泄露和选择偏差。
summary_zh: 作者提出 Score-Calibrated Flow (SCF) 算法,用于从非归一化密度中采样。该方法无需重要性采样或反向传播,通过强制自一致性来训练生成模型。
LoRA 在保留参数优势前无法匹配全参数微调风险,仅在 DeiT-Tiny 上达到 4 倍投影权重规模后才实现风险平价。 该结论基于对 4 个视觉骨干和 7B 语言模型的模块匹配秩扫描(MMRS)及标签噪声测试得出。
UnAct 提出一种无梯度类遗忘方法,仅需对遗忘图像进行前向传播,在 ResNet-18 上保留准确率与重训练差距在 2.5 分以内。 当仅有 5 张遗忘图像时,UnAct 与重训练的距离为 0.21 分,显著优于 SSD 和 LFSSD;在 ViT-B/16 初步迁移中,请求速度比 SSD 快 19 倍。
研究人员在机器遗忘框架下定义了自适应性与集体性两类用户删除请求行为,并证明群体行为差异会导致模型受影响的理论差距。 利用数据估值技术,该研究设计出能显著改变现实场景中模型行为的删除请求机制。 在计算机视觉任务实验中,研究者隔离并验证了不同用户行为模型对机器遗忘效果的差异化影响。
研究揭示 LoRA 持续学习中固定小学习率无法阻止遗忘随知识有效秩增长而加剧。 PaLoRA 结合自适应 SVD 截断、梯度子空间投影及节奏控制,在 50 任务基准上提升 4% 准确率。 该成果已被 NeurIPS 2026 接收,并在长时程场景表现出显著优势。
Clean 优化器利用随机 Nyström 方法近似 SOAP 预条件子,将内存复杂度从二次降至线性。 它比 AdamW 运行速度快 26%,且能在单个 80GB GPU 上预训练 13B 模型;Q-Clean 变体比 Muon 节省超 50% 优化器内存。 提供可扩展、高效且低成本的 LLM 大规模优化方案。
研究发现 TensorFlow/JAX 中 Inception Crop 的标准实现采样分布 $f(A) \propto \frac{1}{\sqrt{A}}$ 偏离 PyTorch 的原始描述。
SNACK 提出了一种仅在 GPU 上存储和计算非零连接的真正稀疏层,在 95% 稀疏度下比掩码稠密基线快 7 倍。 该层提供 PyTorch API 和 SNACK-COO 自定义 CUDA kernel,在 90% 稀疏度下训练加速 8 倍,显存使用比稠密层低 72%。 SNACK 已被 NeurIPS 2026 接收,在 GPT-2 上以 99% 稀疏度将推理延迟降低 4.8 倍。
本综述调研了跨 Ising 平台的概率算法,涵盖模拟退火和并行退火等基础方法,重点介绍了 PAOA 算法。 PAOA 是 QAOA 的经典类似物,源自概率硬件开发;生成式 AI 与 Ising 机器相互促进,学习模型加速优化,概率技术改进大语言模型推理。 此类共同设计框架有望推动下一代 Ising 机器能力的提升与普及。
采用组相对策略优化(GRPO)结合随机插值和离散流匹配对齐晶体生成模型,将亚稳态独特新颖结构(mSUN)良率从预训练的13.4%提升至45.5%。 该方法直接作用于原子类型转移似然,同时暴露出基准中单元素结构被误计入新化合物的指标漏洞,并指出需通过显式防护防止奖励利用。 研究建议社区基准应按参考相数量拆分结果,以确保稳定性声明的严谨性。
针对持续强化学习(RL)中适应性与遗忘难以平衡的难题,该研究引入神经进化(NE)范式。实验对比进化策略(ES)与遗传算法(GA),发现 ES 在稳定性-可塑性权衡上表现最一致。
针对基于布朗运动的 Diffusion Flow Matching(DFM),研究在有限矩条件和温和得分可积性假设下推导了 KL 收敛界,实现了比先前工作更优的维度依赖关系。 在额外的一阶得分可积性和弱对数凹性条件下,分析扩展至 2-Wasserstein 距离,获得了与 KL 情况一致维度依赖的收敛保证。
研究者提出 GapFT 方法,通过在大模型未能一次通过但在 K 次采样内解决的问题上进行后训练,来提升模型的 Pass@1 表现。在 LogiQA 2.0 和 ReClor 数据集上,GapFT 优于同等预算的均匀拒绝采样微调,仅用 11-34% 的验证问题即可恢复全量验证池微调 2/3 到 4/5 的性能增益。
研究表明,自蒸馏策略优化(SDPO)在教师信号稳定时能加速领域内专业化,但在持续后训练中表现出更严重的遗忘,甚至导致模型崩溃,泛化能力不及 GRPO。 分析发现,参数与响应空间的漂移以及自增强师生循环放大的高频伪影是导致这些失败的主要原因。 因此,仅依靠在策略数据不足以实现持续学习,自蒸馏不应被视为持续后训练的默认稳定器。
针对基于样本的生成模型在高风险决策场景中的概率预测需求,该研究提出决策感知训练方法。通过在能量得分目标中引入可微分决策损失,该方法直接惩罚依据模型预测采取行动所产生的成本。实验在合成任务、风力发电调度和霜冻防护任务中验证,模型在保留完整概率预测的同时,更好地对齐了决策者的特定成本结构。
该研究提出了基于暴露量的框架,以探究 LLM 预训练中的类 Grokking 动态。利用 BLiMP 最小对作为评估基础,在五个语法现象中观察到迟滞泛化现象。分析表明,泛化发生前后的检查点显示语法概念向量更具预测性,且注意力集中在少量注意力头上。
该研究提出换手正交信用分配方法,用于解决开放团队多智能体强化学习中因智能体流动导致的信用分配混淆问题。该方法通过价值分解将动作效应与纯换手效应分离,并设计了对称不变集中式 critic。在动态传播基准测试中,该方法在高换手率下取得了最佳平均回报,且性能优于移除交互信用的消融模型。
LESSER 是一种用于大语言模型后训练数据选择的输入层梯度方法,仅依赖前向传播即可有效近似完整梯度特征。该方法在 SFT 基准中将特征提取 FLOP 成本降低 9.7 倍,在 RL 基准中降低 3.0 倍,且性能与完整梯度方法保持一致。
研究团队提出 Pivot-SD,一种用于掩码扩散语言模型(dLMs)的高效离线自蒸馏框架。该方法通过信息增益指标筛选高影响承诺点,并使用 200 道题目和每条轨迹 4 次滚动的数据,提升了 LLaDA-8B-Instruct 在数学与代码基准上的表现,效果优于全序列 SFT 和匹配预算的扩散 RL 基线。该论文被 EMNLP 2026 主会接收并设为口头报告。
这项预注册基准研究在 2,220 次实验中评估了 CTGAN、TVAE、TabDDPM 等 7 种深度表格生成模型在 200 至 20,000 行数据规模下的表现。结果显示,在 24 个数据集与模型组合中,有 23 个深模型在任何测试规模下均未能以超越种子噪声的优势击败最佳简单基线,且深模型排名在小规模下表现出高于 0.8 阈值的稳定性。
论文提出 AIBL(Augmented Instance-Based Learning),将符号实例学习泛化到学习向量空间,利用神经嵌入相似性替代手动匹配规则。模型引入活跃、遗忘和惊讶存储结构,通过观察驱动的晋升算法将重复的惊讶实例转为活跃记忆,以应对概念漂移。在五个机器学习任务和三个模拟任务中,AIBL 相比传统 IBLT 变体准确率提升 6 至 17 个百分点。
研究发现,专家任务向量的方差可作为干扰指标,预测大语言模型合并时的性能坍缩。研究提出的 PRISM 算子通过平均任务向量并按层干扰水平进行软阈值处理,无需数据或调优,可将所有 5 个破坏性合并的性能保持在基础模型水平附近。
研究通过四种 Relational Transformer 检查点揭示合成关系数据中跨表预测结构对模型学习关系机制的作用。RelDiff 模型对外键干预表现出最大敏感性,且该优势可通过推理时破坏相应机制消除。结果建立了合成数据属性、学习机制与下游行为之间的联系。
联邦学习框架RIPPLE实现零样本客户端聚类,其离线频谱特征分配机制使通信成本与FedAvg持平。 该框架利用小波散射变换和服务器端训练的Gaussian Mixture VAE完成集群映射,为缺席客户端提供单次前向传播的个性化模型。
研究将比例积分(PI)步长控制应用于扩散模型,利用噪声归一化误差估计器实现更平滑的步长自适应。在自然图像数据集上,该方法配合随机 Heun 采样器的固定离散化策略在 FID 指标上优于 EDM 调度;在语言扩散任务中,求解器在低至中等 NFE 下的困惑度优于 EDM 和熵调度,但 token 熵较低。
研究指出,RLVR 中的 GRPO 算法会导致有效的推理策略容量收缩,引发灾难性崩溃。作者提出了轻量级在线预警指标 Mirrored Entanglement Index (MEI),并开发了 Mesh Learning 方法以防止单一策略主导优化。
AIR-OPD 框架通过自适应迭代修复解决在策略蒸馏中的捷径风险,利用引导生成器为错误提供修复监督。在 DAPO-Math-17K 数据集上训练后,该框架在 Qwen3-4B 和 Qwen3-8B 模型上取得最佳数学推理平均分,较最强基线提升最高 3.6 点,且在 MMLU-Pro 和 GPQA 等分布外基准中保持性能。
该研究提出一种基于 Fisher 信息的次模数据选择器,用于大语言模型持续预训练,通过分解梯度控制灾难性遗忘。在 TinyLlama-1.1B 和 Llama-3.1-8B 的医疗数据实验显示,选择 1B tokens 的效果优于回放策略的 10B tokens,实现 10 倍 token 效率提升。
针对 LLM 压缩中方法选择依赖经验的问题,研究提出了一套能力缩放规律框架,系统性评估了剪枝、量化和蒸馏在数学、代码及问答任务上的能力损失。在 Pythia 和 OLMo-2 模型上,通过共享密度响应,该框架将拟合剪枝预测器所需的配置测量次数减半,误差控制在 0.020 nats 以内。跨两个模型族的独立评估表明,基于该规律的数值选择策略能有效捕获问答任务中大部分跨方法性能收益。
针对 LLM 导致的热管理挑战,该工作提出一个能在数秒内完成热感知容量规划的 AI 驱动框架。内嵌 AI 模型基于机架功率、HVAC 设置等参数实现毫秒级温度预测,在未见设计中对比高保真 CFD 模拟实现了 10000X 加速。该框架支持设计者与运营者即时优化负载分布及冷却效率,相关内容已在 DesignCon 2026 呈现。
针对美国电表数据中常见的缺失、冻结等缺陷,报告展示了一条在预测时点利用可用信息进行检测与修复的数据接入管道。受控实验表明,当缺陷影响 0.10% 的训练时段时,该管道将梯度提升预测器的误差从 1.415 修正至 0.729,使其恢复至干净数据水平,同时保留了 93% 的训练目标。
研究人员提出 Latent-MOPD,这是一种在表示级别实现 LLM 多教师在线策略蒸馏的方法。该方法通过整合专家模型的预测分布与隐状态,无需额外训练教师模型,在数学、代码和逻辑等九项基准测试中均优于仅使用 token 或仅使用表示的基线。在参数规模与单一教师相同的情况下,学生模型在大多数基准上超越了表现最佳的教师。
该研究提出一种自适应批调度器,通过动态调整批大小来控制训练过程中的方差增长。在 OLMo2 1B 模型预训练中,该调度器在相同 token 预算下实现了比小批量和大批量训练更低的验证损失,且迭代次数少于小批量训练的 10%。