深度学习将形成科学理论
论文论证深度学习的科学理论正在形成,称为“学习力学”,用于刻画训练过程、隐藏表示、最终权重及性能的属性和统计规律。 该理论基于可解析理想设置、可处理极限、简单数学定律、超参数理论及普遍行为五大研究脉络,强调训练过程动力学、粗粒度聚合统计及可证伪的定量预测。 文中提出学习力学将与机制可解释性形成共生关系,并回应了认为基础理论不可能或不重要的常见论点。
论文论证深度学习的科学理论正在形成,称为“学习力学”,用于刻画训练过程、隐藏表示、最终权重及性能的属性和统计规律。 该理论基于可解析理想设置、可处理极限、简单数学定律、超参数理论及普遍行为五大研究脉络,强调训练过程动力学、粗粒度聚合统计及可证伪的定量预测。 文中提出学习力学将与机制可解释性形成共生关系,并回应了认为基础理论不可能或不重要的常见论点。
DREX 提出批处理早期退出 LLM 推理系统,通过跨迭代批处理避免强制 token 提前退出。 采用 vLLM 异步调度,结合推测持有策略。在 Llama-2-70B 上实现 2.22-2.24 倍解码加速,速度优势比 EAGLE 高 9-63%。
PAC Reasoning 通过构建性能损失上界和切换阈值,在分布无关前提下保证推理性能损失处于用户指定容差内。 该方法动态切换思考与非思考模式,在推理基准测试中节省计算预算并严格控制性能损失,已被 NeurIPS 2026 接收。
该框架提出“Shannon observables”,通过直接计算 Shannon 熵来表征高阶信息处理特性,并实现向大型系统的高效扩展。 该框架在纠错码、深度分类器、卷积自编码器及脑磁图分析中验证了有效性,揭示不同编码机制和脑区定向信息传输结构。 解决了分析高阶信息现象的根本局限,为理论发展与实证分析提供广泛机会。
针对有限模型与紧后动作 (s,a)-矩形不确定性,本文建立了多链鲁棒平均收益 MDP 的向量 Bellman 理论。 采用“增益优先、偏差其次”原则推导耦合向量系统,设计鲁棒近似 Halpern 规划算法,证明贪心控制器在有限预算内平均最优。 连接有限 Bellman 证书与无折扣规划,为状态依赖型鲁棒平均收益提供理论解释。
GeoPair 提出一种免训练框架,通过顺序优化跨层权重配对和共享字典分解,在保持各层激活几何结构的同时实现高效权重分解,并在多种架构、规模和模态上取得 SOTA 结果。 该方法替代启发式分组策略,结合结构化稀疏性,在保持功能保真度的前提下持续优于独立结构化权重分解和成对权重分解。 GeoPair 建立了可扩展、跨模态 Transformer 压缩的理论基础。
summary_zh: LILA 提出一种无数据结构化剪枝方法,利用 NMF 分解和 KS 距离评分神经元重要性,无需校准数据或梯度计算。 在 7 个模型家族(最高 70B)的评测中,LILA 在 LLaMA-2-7B 上零样本准确率比 PruneNet 高 2.12 pp,比 SliceGPT 高 6.1 pp;经 LoRA RFT 后优势更显著。
MixerLoop 在 15M 参数规模下的 CORE 综合得分超过 FullLoop,证明无需重复执行 Dense FFN 即可保留循环深度收益。 该架构通过循环 Gated DeltaNet mixer 并单次应用 Dense FFN,在 110M 参数下保留 41.5% 的 CORE 提升,同时减少 45.9% 的循环主干投影 FLOPs。
稳定性边缘(EoS)并非全局优化属性,而是通过重分配学习来选择性塑造数据分布,放大部分群体进步同时抑制其他群体。 研究者通过分支干预证明这一权衡效应,识别出两个必要条件:群体聚合梯度需对齐Hessian最大特征向量,且需维持非消失的梯度幅度。 这表明EoS不仅是稳定性边界,更作为机制管理着学习在数据分布中的分配。
提出方法 BloGDiT,通过用分块高斯去噪替代标准联合高斯去噪,解决了 Diffusion Transformer 在约束优化中因去噪过程与求解需求不匹配导致的性能瓶颈。该方法采用迭代分块重采样并随时间退火块大小,在 Sudoku、Graph Coloring、Maximum Independent Set 及 MaxCut 基准测试中匹配或超越现有方法。
研究表明最小过参数化使假设认证在多个类别中呈指数级困难。 在深度≥2 阈值电路中,增加单门即可使证书规模随输入维度呈指数增长;对数精度 Transformer 在恒定架构开销下亦有类似结果。 允许多项式错误仍需指数级证书,而常数相对误差保证可能掩盖指数级失败。
OSCAR 提出离线估计注意力感知协方差目标,推导固定逐层旋转与裁剪阈值,在 2-bit 精度下保持注意力保真度。 在 Qwen3-4B-Thinking-2507 和 Qwen3-8B 上,OSCAR 将 BF16 精度差距分别缩小至 3.78 和 1.21 分,在 Qwen3-32B 和 GLM-4.7(358B 参数)上达到 BF16 水平。
研究揭示稀疏混合专家(SMoE)模型中路由器与专家间存在几何耦合,即匹配方向积累相同的路由 token 历史。在 1B 参数 SMoE 中,较高路由分数预测了更强的专家神经元预激活;辅助负载均衡损失会破坏此结构,使不同路由方向相似度提升近 3 倍。
LOFT框架通过分离子空间适应与正交变换,将支持选择确立为设计核心,并基于一阶分析提出任务感知支持选择策略。 该方法在语言理解、视觉迁移及数学推理等任务中,于匹配的可训练参数与变换设置下提升性能,证明固定预算下支持选择对正交PEFT性能具有系统性影响。 论文已被NeurIPS 2026接收。
Meta-Scaling Laws 确立神经缩放定律在双射(保信息)数据变换下保持不变,并在非双射变换中随信息分辨率 $\rho$ 可预测地改变。该机制允许将单一域拟合的定律通过 $\rho$ 轴传输至其他域,实现跨域性能预测。
该研究提出首个利用学习的连续拉格朗日直接预测偏微分方程系统动力学的方法。 方法通过局部时空分块最小化平方欧拉-拉格朗日残差,结合雅可比迭代实现线性缩放。 在双摆和二维波方程验证中,其长期预测误差与经典辛方法相当。
论文提出无 critic 强化学习框架 TIDE,将分布偏差重构为指导信号,用有界 Hellinger 距离替代反向 KL 散度。 框架引入熵门控机制按策略预测不确定性调节偏差,在 Qwen2.5-32B 基座上,TIDE 在 AIME 2024 和 2025 的 Avg@32 准确率分别为 60.0% 和 46.0%。
该研究将 AI 对齐重构为“求解者-审计者”博弈问题,指出对齐是固定点问题。模型通过双层优化设计奖励,使奖励设计不再是语义匹配,而是诱导行为均衡。 在 LLM 编码流程实验中,自适应奖励机制维持了监督压力,并大幅减少了产生幻觉错误尝试的次数。
提出延迟同态强化学习(DHRL)框架,基于 MDP 同态引入信念等价关系,将增广状态空间坍缩为紧凑抽象空间。 在有限域中精确抽象可恢复无延迟样本复杂度阶数;在连续域中提出的 D²HPG 算法在 MuJoCo 基准上优于强增广基线,代码已开源。
研究人员Hera提出一种基于矩阵分解几何重新参数化的一阶优化算法,用于训练多层softmax自注意力网络。 在无限数据极限下,该算法使自注意力回归问题等价于矩阵分解,并证明Hera-PSD变体在小高斯初始化下具有指数级快速收敛的理论保证。 实验显示,Hera训练模型的测试均方误差比AdamW低98.1%,比Muon低97.7%。
研究人员提出 TENG-BC,这是一款基于时间演化自然梯度(Time-Evolving Natural Gradient)的高精度神经 PDE 求解器,旨在解决长期误差累积和通用边界条件强制执行难题。
**summary_zh:** 该研究在 Markov 链设定下揭示了 Transformer 稀疏注意力模式形成的增量学习动力学。 训练初期注意力头竞争主导模式,后期合作并专业化分工,且完成阶段数随数据集大小变化,体现隐式复杂度控制。 该理论账户解释了结构化注意力与头部专业化的涌现机制,无需显式课程学习。
研究提出半对偶神经最优传输(SNOT)框架,解决无限维 Hilbert 空间中神经映射的全局优化虚假解问题。 通过定义基于高斯零集的常规源度量证明唯一性,并针对奇异源引入高斯平滑及核条件。在真实非配对时间序列填补基准上验证理论,多项指标表现最佳。
研究提出控制强化学习(CRL),通过训练策略选择稀疏自编码器(SAE)特征来引导 LLM,生成可解释的干预日志,在 Gemma 2 2B 上提升 MMLU 等基准表现。 CRL 采用自适应特征掩码促进多样化特征发现,并通过分支点跟踪和层级比较分析定位影响输出正确性的关键 Token 及语义特征位置。 该框架将学习到的特征引导确立为一种机制可解释性工具,与静态特征分析互补。
summary_zh: 研究发现 Transformer 在算术任务中常以逆向或并行而非人类顺序获取技能,称为“破碎组合性”。这种由训练数据相关性匹配驱动的非人类获取方式导致技能竞争和混合错误。
研究提出基于广义预测公式 u=kx-(1-k)n 的理论框架,推导数据几何特征与最优预测目标间的解析关系。 证实当环境维度显著大于数据内在维度时,x-prediction 优于噪声或速度预测,且时间条件与损失变化会系统调节该目标。
研究提出双参数模型解释 LLM 在算术等确定性任务中的误差累积,预测精度随任务复杂度呈定量关系。该模型基于有效场论视角,用注意力机制的噪声率和错误 token 数量解释错误阈值,并在 Gemini 2.5 Flash 和 DeepSeek R1 等模型上验证有效。 该模型为长重复任务中的 LLM 误差提供了替代解释框架,排除了推理崩溃的假设,并演示了通过构造提示词降低误差率的方法。
CUDA-L2系统结合LLM与强化学习优化HGEMM CUDA内核,在1,000种配置下系统性超越cuBLAS等基准。 离线模式下平均比cuBLAS快19.2%,服务器模式下比cuBLAS快26.0%,验证了LLM引导的自动化优化潜力。 该项目表明即使高度优化的内核也可通过系统化探索配置空间得到显著提升。
该研究提出Next-Latent Prediction(NextLat)方法,通过在隐空间进行自监督预测,使Transformer学习压缩的潜在状态和一致转移规则,解决标准下一词预测泛化能力差的问题。
研究证实 LLM 在稀疏注意力头中编码下一子目标,该编码对后续动作具有因果性且具备可塑性。 将该编码移植到不同环境可触发相同操作,且 LLM 通过重读任务规格而非维持内部状态来持续执行目标。 该发现揭示了 Transformer 架构下非递归目标寻求(NRGS)的机制。
针对边缘设备资源限制,研究分析标准稀疏卷积性能,提出高效稀疏卷积技术。 3x3 稀疏卷积算术强度约为 10 FLOP/byte,低于稠密卷积的 96 FLOP/byte;高稀疏度下技术实现 1.65x 加速。 在 NVIDIA A100 上加速 1.65 倍,Jetson Nano 上加速 1.52 倍,为高效稀疏推理提供路径。
在 PIZZA 基准上微调 Qwen3.5-0.8B 和 LFM2.5-350M 发现,使用普通单词编码比原生 s-expression 准确率更高(87.5% vs 85.8%),且 token 减少 4.1 倍,静默错误率降低 2.3 倍(Qwen)。
研究测试将游戏机制编译为神经智能体,最强生成器在留出关卡达到56%成功率,Python玩家达97-100%。 使用57k参数递归架构,93%参数为零且多为小整数,训练从零开始仅1%成功,PPO微调几乎消除原有优势。 结果显示规则到网络编译有效,但优于Python程序效果有限,且与PPO结合未成功。
该研究提出利用 4B 参数开放权重决策模型(Intern-Decision-4B)在单次前向传播中对候选函数进行评分排序,结合确定性工具在普通 GPU 上实现开源软件漏洞的规模化发现。系统在 75 个公开 CVE 测试中,将修复函数排入前 25 名的比例是随机排序的 1.4 倍,实际扫描 4000 多个项目确认了 187 个内存安全漏洞,其中 12 个为 CVSS v3.1 严重级别。
研究提出 SignSGD 在幂律核回归下的功能扩展律,揭示梯度噪声通过诱导预条件作用将有效 Hessian 变换为 H^1/2,加速信号学习但减缓噪声遗忘。 该机制使 SignSGD 在困难任务中实现更高数据效率,且在容易任务的大批量设置下,以相同数据预算仅需更少的优化步数。
GC-MoE 操作针对 RTX PRO 5000(SM120)重构,通过 warp 级 FP8xFP4 块缩放 MMA 实现专家并行解码加速。 在 8 张 RTX PRO 5000 上,该算子比 FlashInfer CuTe DSL W4A8 和 Cake MegaMoE 分别快 1.522 倍和 1.387 倍。
summary_zh: NSAI-Fuzz 框架通过可靠性校准加权(RCW)和上下文信号门控(CSG),在 9 个数据集-模型单元中将聚合故障发现率提升至 16.17%,显著优于最强神经模糊测试基线的 6.06%。
该研究提出框架以提取和注入职业角色向量,并在 Qwen2.5-7B-Instruct 和 Llama-3.1-8B-Instruct 上通过可解释性与控制两个视角进行验证。 角色向量在可解释性上表现出高度可复现性、可分离性和领域一致性;在控制视角下,单独注入向量虽能增强角色表达,但其效果最好时与角色提示词相当,且在30轮对话中未能减缓角色衰减。
作者发布ShadowBench基准,通过双特质关联任务揭示大语言模型知识高度依赖显式名称词汇。评测显示在GPT-5.4和Claude-Sonnet-4.6等前沿模型中,移除词汇锚点会导致性能下降超20%。
研究引入连续自动评估奖励任务,用于在强化学习环境中提升 Agentic AI 在高能物理挑战中的表现。 基准测试显示前沿推理模型在此类任务上仍难以给出完整正确解,初步验证了小型语言模型通过自动化反馈进行无干预强化学习的能力。 该工作旨在推动 Agentic AI 从复现既定工作流程迈向自主发现更优科学解决方案。