RR-SGD 随机重洗 stochastic gradient descent 的大步长最后迭代收敛性
研究者建立了标准 RR-SGD 在常数分量步长 $0<\eta\lesssim 1/(L(1 + \log(nK)))$ 下最后迭代的期望目标差界。 该结果去除了步长限制中显式的 $1/n$ 因子,与平均迭代的收敛速率在对数因子内一致。
研究者建立了标准 RR-SGD 在常数分量步长 $0<\eta\lesssim 1/(L(1 + \log(nK)))$ 下最后迭代的期望目标差界。 该结果去除了步长限制中显式的 $1/n$ 因子,与平均迭代的收敛速率在对数因子内一致。
该研究提出一种在线分词算法,在保持输出延迟最优(至常数因子内)的同时,实现了近线性时间复杂度。 算法基于 P≠NP 假设确立了条件性下界,表明无法在常数因子内超越该延迟。实测显示,该算法在首 token 延迟上比 tiktoken 快 7.9×–34.8×,吞吐量提升 2.4×–7.0×,且内存占用保持近似恒定。
该研究推出首个现代标准阿拉伯语大规模事实核查数据集 Arafa,包含 181,976 个“陈述–证据”样本,按支持、反驳或信息不足三类标注。 数据由 LLM 驱动流水线生成,自动校验环节对支持类事实的准确率为 86%,人工评估的 Cohen's Kappa 值达到 0.89;开源 Transformer 模型在其上微调后的最高 Macro F1 分数为 77%。
DeepRubric 提出一种数据构建框架,通过构建证据树反向生成查询-评分对,以确保强化学习奖励精准匹配任务需求。 该框架构建 9K 训练样本,采用评分标准引导的 GRPO 训练 DeepRubric-8B,在三个基准上媲美开源 SOTA 模型。 训练过程仅需约 1/13 的强化学习 GPU 小时,显著提升训练效率。
引入基于点互信息分解的自监督表示学习方法作为生成建模 Tokenizer,获得 FID-50K 2.18。 该方法是计算最优改进,在 ImageNet 上比 DINOv2 少 7 倍 FLOPs,GPIC 上比 WebSSL 少 8 倍 FLOPs。 首次分析 Tokenizer 与生成模型结合 FLOP 效率,验证了可扩展性。
HP-RLVR提出一种单轨迹强化学习验证奖励方法,通过 hindsight context 计算归一化 Jensen-Shannon 散度,实现无需参考解的有界 token 级信用分配,克服了 GRPO 在全同结果下信号丢失的问题。
LoopRPT 提出了一种面向循环语言模型(LoopLMs)的强化预训练框架,通过将下一词元预测重构为推理任务,直接利用 EMA 教师参考和噪声隐变量 rollout 对中间步骤分配强化信号。
QuantEval 发布 1,575 个专家验证实例,涵盖知识问答、数学推理及策略编码,通过 CTA 风格回测框架评估 LLM 在量化金融中的计算-实现-验证闭环。 该基准测试了 13 款开源及专有 LLM,结果显示模型在长程推理和受限编码上显著落后于人类专家,且监督微调在提升推理能力的同时削弱了事实回忆。 数据集、评测脚本及完整回测配置已开源,支持 LLM 量化金融研究的复现。
持续在 Twitter/X 低质数据上预训练会导致 4 个 LLM 在推理、长上下文理解及安全性上显著退化,Hedges' g>0.3。 在 M1 指标下,随低质数据比例升至 100%,ARC-Challenge CoT 分数从 72.1 降至 57.2,RULER-CWE 从 83.7 降至 52.3。 结果表明数据具有因果性影响能力衰减,建议对部署中的 LLM 进行常规认知健康检查。
研究表明,浅层 Transformer 在识别无界长度星无关语言时,简单的两步梯度特征学习理论失效。 Transformer 需经历三阶段梯度下降:先更新输出层,再更新注意力层,最后微调输出层;单独训练某一层或单步注意力更新均无法完成语言识别。 该“注意力学习滞后”机制在语言识别、回归及上下文学习等其他任务中同样有益。
SpectrumQuant 提出基于闭式旋转的 LLM 量化方法,通过校准数据估计激活协方差构建协方差感知正交变换。 该方法在 Llama 和 Mistral 模型实验中表现优于 SpinQuant 和 DartQuant 等学习型旋转方法,GPU 内存需求降低至 1/3 以下。
该原型通过LLM自动提取贷款政策规则并验证申请合规性。 在11份含已知例外的真实贷款申请测试中,系统检测出大部分异常,并发现了人工审核遗漏的问题。 结果显示该LLM方案能高亮潜在合规风险,作为人工判断的有价值支持。
研究人员提出FUSE结构感知聚合器,应对拜占庭攻击,在四个基准和七种攻击中性能提升3.9-30.1个百分点。 该方法结合小规模可信数据集,通过系数恢复、一致性筛选和步长控制提升鲁棒性,同时保护高损失客户端影响。
理想化的 Muon 优化器具有谱最大边距隐式偏差,但在实际实现中,使用有限 Newton-Schulz 迭代和正稳定常数会导致其选择 Frobenius 最大边距方向。 研究通过可求和扰动论证证明,这一行为在指数移动平均和 Nesterov 动量下均成立,参数轨迹与梯度下降保持有界距离。 发现 Muon 可通过令 Newton-Schulz 迭代次数随训练对数增长,重新恢复其谱最大边距偏差。
该综述聚焦多模态大语言模型空间推理的后训练方法,重点分析微调所用数据集。研究将现有工作划分为数据集设计、构建与评估三类。 综述归纳了固定空间标注的四种构建方法:规则模板、LLM 提示、程序化生成及人在环路。 文章指出统一动态标注、评估标准化及高效推理是未来关键研究方向。
summary_zh: 提出 LatentLoop 架构,通过压缩首次循环序列并重新分配计算资源以扩展隐藏层大小,在 1.3B-7B 参数范围内验证性能。 该模型共享 MoE 权重但使用独立注意力参数,在 NLL 1.988 时相比基线节省 19.0% 和 7.9% 计算量,并提升多项 benchmark 得分。
MolHop提出跨骨架分子发现框架,将约160万个商用分子骨架组织为层次化动作空间。 通过智能体强化学习开发的MolHop-9B性能超越GPT-5.6-sol等生成基线,能生成骨架差异更大的候选分子。 该框架支持长程搜索,证明结构化化学空间对超越传统优化范式的分子发现至关重要。
VASPO通过结合自教师与Critic对特权信息的评估,在PPO框架中实现了更有效的自蒸馏监督。 该方法在6个数学推理基准测试中,使Qwen3-4B和OLMo3-7B模型的平均准确率分别比PPO提升2.59和1.81个百分点。 作者已开源相关代码。
研究者提出 COUNT 方法,通过存储预计算的 n-gram 计数实现 LM 在主机内存上的扩展,无需额外学习参数。 在固定计算预算下,为 1B 参数 LM 添加 COUNT 作为输入嵌入,其验证损失改善效果相当于增加 57% 算力的 LM。 该方法允许在推理时切换领域语料的 n-gram 计数表,实现无训练的领域适应,且在 GPU 内存受限时优于增加学习嵌入的方法。
新框架 FSPO 结合特权适应与函数空间时间整合,在 5 小时训练预算下取得最高平均准确率。 相比最强基线平均提升约 4%,并将 Olmo3-7B-Instruct 峰值内存从约 70 GB 降至 56 GB。
研究在两个基准数据集上评估技能融合策略,发现显式技能表示相比纯文本基线未带来实质性提升。 ESCO 分类判别力有限,技能嵌入出现坍缩,且高文本与技能表示冗余导致增益微弱。 结果挑战了显式技能建模必然利于职业预测的常见假设。
在包含英语、荷兰语和中文的多语言 BabyLM 预训练中,混合训练在 15 种匹配配置中全部优于课程训练,同时多语言表现受语言暴露数量与顺序共同影响。 语言主导型混合训练中的部分配置得分高于均衡配置,且荷兰语主导配置取得最佳整体性能。 该结果表明在当前小规模数据设定下,均衡语言分布并非最高性能方案,同时多语言暴露优于分阶段暴露。
提出 TEX-MEX,首个统一结构与时序相似度的时间序列对比学习方法。 该方法基于编码器识别批次内的相似度,将时序偏移相似窗口拉近、不相近者推远。 在 PPG、EEG、ECG 等多模态任务上实现 SOTA,并开放了 56 万参数 PPG 基础模型,规模约为竞品的 1/50。
AFCS 通过提取原子事实驱动数据合成,在 OLMo-3-7B 和 32B 基座上优于 WRAP 和 Nemotron-CC。 该管线结合结构感知提取与多格式生成,100B-token 中训练使通用基准平均提升 +1.09。 实验在 FineWiki 语料上验证了事实级合成优于片段级和实体级合成。
两项研究显示,两阶段残差学习框架(TSRL)显著降低了代理模型误差。 在原油蒸馏单元数据中,TSRL 将测试均方根误差(RMSE)从 10.3 g/s 降至 4.7 g/s;在工业燃气轮机数据中,涡轮热速率误差从 151 kJ/kWh 降至 105 kJ/kWh。 该框架通过验证剩余量评估局部建模强度,为热力学系统的安全关键操作提供决策支持。
ProD 通过检测并惩罚学生智能体轨迹中的停滞现象,有效缓解小语言模型智能体在长交互中陷入无效循环的问题。 ProD 将教师与学生间的停滞差距编码为自适应边距,在 0.6B 至 8B 参数的 8 个 SLM 上验证,提升了成功率与任务完成效率。 该工作已被 NeurIPS 2026 接收。
W-JEPA 提出自监督框架,利用小波令牌组织惯性运动,提升跨数据集泛化能力。 该模型通过 EMA 目标编码器预测掩码令牌,在 6 项基准测试中,平均 macro-F1 提升 8.7 个百分点。
该方法利用拓扑正则化对齐独立训练的自编码器模型隐空间,消除训练协调需求。 实验表明其显著缩小多个数据集上的互操作性差距,理论上支持几何兼容性。
Spectral-MoE 提出异质逐层专家利用率分配,显著优于统一利用率。在 25% FFN 利用率下,动态分配将 Llama-3-8B 的 WikiText-2 困惑度降低 2.96 点,六任务平均准确率平均提升 3.6 个百分点(50% 利用率下)。
提出 Interlock 框架将长程任务表示为类型化完成图,解决局部正确但任务未完成的问题。 利用 Qwen3.6 在自接受轨迹上微调,提升 AutomationBench 通过率 4.00-4.50 个百分点及 JobBench 加权分。 验证了合成经验在外部任务环境中的训练效用。
研究者提出面向连续流语言模型的强化学习后训练框架,通过引入 Critic 估计中间 token 嵌入价值,绕过非可微解码步骤获取低方差路径梯度。 该 Critic 能随策略变化动态跟踪价值函数,在四项推理任务中,该框架可靠提升模型性能并优于同类基线方法。
提出一种结合 LLM 与文档级话语解析的保结构数据增强框架。 该框架通过识别句对修辞关系并替换为语义连贯且主题偏移的内容,保留原有话语结构。 实验显示该方法在文本摘要和问答任务中通过补充监督信息提升了联合数据训练效果。
研究发现白化预调优是提升分布式 LLM 训练中内部优化器副本扩展性能的关键特性。 基于伪梯度协方差结构和批大小对噪声影响两因素,理论及实证证实 8-96 副本规模下白化内部优化器优于 DP。 随着参数和数据扩展,其相对性能优势持续增强,为高并发 LLM 训练提供有效指导。
研究指出图像自蒸馏中样本重复对下游性能的影响是非平凡的且依赖数据集,现有缩放定律存在局限。 在Maxar、ImageNet等7个数据集上,重复训练较小随机子集有时优于训练更大唯一样本集,验证了数据依赖特性。 论文提出修改版Chinchilla风格缩放定律,显式纳入唯一样本数与重复次数两个因素。
提出利用逆推理LLM处理仅答案数据的自蒸馏技术,将CoT视为隐变量,在GRPO训练饱和后单次离线蒸馏可使Qwen3-0.6B在困难提示下的pass@1提升近一倍。 该方法在Countdown任务中全比例优于拒绝采样自蒸馏,且逆模型作为验证器可将best-of-n选择准确率从0.753提升至0.969。 COLM 2026 Workshop论文展示了逆模型在持续后训练和测试时验证的双重应用价值。
提出Titan-Llama后训练方法,改造预训练注意力模型以支持长上下文高效推理。 该方法采用分层记忆架构,在测试时更新参数,将历史上下文压缩为固定大小的神经记忆模块(NMM)。 在Llama-3.2-1B-Instruct上,显著提升了QuALITY和LongHealth基准测试的准确率,并降低了内存使用。
字节跳动正与联发科洽谈采购定制 ASIC 芯片,以支撑其数据中心运行。这笔交易可能使字节跳动成为联发科 ASIC 业务继谷歌后的第二大客户,联发科借此可拓展数据中心市场并与高通竞争。字节跳动因无法获取英伟达等顶尖芯片及本土算力不足而寻求替代,计划今年资本开支最高达 700 亿美元,重点投入 AI 模型训练与推理基建。
美联储 9 月会议纪要显示,官员认为 AI 基础设施建设是推高商品价格上涨的主要因素,而非关税。剔除食品和能源后物价仍快速上涨,且 AI 基础设施建设对物价的影响在加大,而关税影响逐渐减弱。官员预计整体通胀率要到 2029 年才有望降至 2% 的目标水平,部分观点认为 AI 建设热潮可能带动整体经济需求增长并进一步推高物价,但长期生产率收益及显现时间仍不确定。
TrendForce 上调预测,九大云服务供应商 2027 年资本支出将达 1.531 万亿美元,较 2026 年的 9570 亿美元增长 60%。 受服务器涨价、零部件缺货及预付款要求影响,AI 服务器 2027 年产值预计升至 9200 亿美元,占整体服务器产值比例达 81.1%。
IDC 报告显示,2026 年上半年 Nvidia 在中国数据中心 AI 加速器市场份额降至 34%,华为升至 28%。Nvidia 期间出货量同比下降 44%,中国本土供应商中 11 家有 9 家实现出货增长。