注意力手术中的 Sanity Checks:针对表示驱动设计的 Null Models 与 Matched Interventions
论文在九个预训练模型中验证自注意力移除的收益。数据显示前因 Null 可解释 48% 至 63% 的头值余弦对齐,且该效应非单调依赖模型规模。 在 50.9M 规模下,移除自身 Value 方向降低验证损失 0.0029 nats,显著优于任意固定方向(无显著差异)。这表明仅凭高余弦对齐无法确立冻结模型中的冗余性。
论文在九个预训练模型中验证自注意力移除的收益。数据显示前因 Null 可解释 48% 至 63% 的头值余弦对齐,且该效应非单调依赖模型规模。 在 50.9M 规模下,移除自身 Value 方向降低验证损失 0.0029 nats,显著优于任意固定方向(无显著差异)。这表明仅凭高余弦对齐无法确立冻结模型中的冗余性。
该研究通过谱域异质性分析有限预算下神经缩放定律的偏差,采用 Aitken 差分法改善拟合条件。 在 45 个算子谱及 Pythia、Chinchilla 等基准测试中,估算器达到 5.89% 的 MAPE,降低 76.4% 的分配遗憾及 59.4% 的 RMSE。
研究证明在折扣 MDP 中,基于插件估计器的 KL 正则强化学习样本复杂度为 $\widetilde{O}(KH^3/(\epsilon\max\{\epsilon,\beta\}) + KH)$。 该界在 $\epsilon \lesssim \min\{H, H^2/\beta\}$ 时是尖锐的,且与无正则化强化学习具有相同的视界依赖项。
研究表明上下文内学习(ICL)中的泛化实际上是欠拟合,且特征学习并非 ICL 的必要条件。 该研究通过分解旋转不变核机器的特征基,揭示模型先实现泛化,随后退化为记忆化解决方案的过程。 实证分析显示,Transformer 模型通过训练集的高阶统计量进行记忆化学习,证明该核方法理论同样适用于具备特征学习能力的模型。
研究人员利用SMC解码在零边际成本下估计序列级Rényi熵(SRE),作为无成本选择性预测信号。 一阶SRE在13个场景中的10个场景优于对数概率,MATH500测试集AUROC提升0.022至0.044。 八粒子探针结合二次策略,在MATH500上减少34.2%粒子开销的同时保持六十四粒子精度。
研究设计了一种循环因果编码器-解码器(Looped CED),通过让稀疏编码器层生成全局 KV 并复用,实现了零轮次 KV 增长的循环深度。 该模型通过跨层和跨轮次的 KV 共享,以未循环模型的最小内存占用,恢复了循环 Transformer 86-93% 的性能提升,全局 KV 减少至 1/6。
研究指出,在强化学习 with verifiable rewards (RLVR) 中,跨提示词的参数共享导致 reward hacking 既被抑制也被放大。
针对 pass@K 场景的多温度采样研究发表于 NeurIPS 2026。 研究发现不同问题的高效采样温度差异仅呈对数级增长,理论最优多温度分配方案的增益相对单一调优温度基线通常较温和。 数学上的钝化效应(dulling effects)确保了单一温度选择在不同问题分布下的鲁棒性,澄清了何时多温度采样有效。
IC-GNN 提出一种图谱锚定模型,基于静息态 fMRI 数据在 30000 余名参与者中,对比 15 种基线方法实现了最优疾病预测性能。 该模型生成个体化多尺度社区,并具备扫描内及跨会话的可重复性与独立预测能力。 其识别出的疾病相关社区组织变化与现有文献一致,为疾病预测与生物标志物发现提供了新路径。
summary_zh: FaST 将过渡元组分解为状态、动作、动力学、奖励和终止阶段,在 12 个 D4RL 基准上与 SynthER 扩散基线持平,生成速度超过 90 倍。
在 256K 上下文长度下,ADIndex 将预填充和解码内核速度分别提升至最高 6.22x 和 3.40x,在 128K 上下文下实现 1.54x 的端到端服务加速。 该技术有效解决了 DeepSeek Sparse Attention 索引器在长上下文推理中占用超过 50% 预填充 GPU 时间的延迟瓶颈。
研究人员提出 SBOG 框架,结合 Sinkhorn 最优传输几何与分布鲁棒边界建模,在潜空间中生成结构化离群点。 该框架通过 Sinkhorn 诱导的支持成本引导采样器趋向弱支持边界区域,并利用语义约束防止偏离预期上下文。实验显示,该方法在时间序列异常生成和图像离群点合成中,能产生语义可控的离群点,提升跨模态下游鲁棒性评估。 该工作已被 NeurIPS 2026 接收。
针对LLM前缀缓存,分析显示简单的最近最少使用(LRU)算法表现稳健,可媲美复杂策略。 研究基于200亿token生产轨迹,评估了14种淘汰算法,发现会话节奏主导前缀复用,使近期性成为强预测因子。 研究确立了结合快速降级与计算感知淘汰的设计原则,相关模拟器与数据已公开。
The user wants a Chinese title and a Chinese summary for an arXiv paper. **Source。
该研究提出一种将人类表观遗传衰老视为轨迹推断问题的计算框架,使用年龄正则化变分自编码器映射CpG谱至时间有序潜空间。 模型在包含80年跨度的大规模泛组织数据集上评估,通过正则化非平衡最优传输揭示晚年期由随机表观遗传漂移驱动的方差扩张。 解码连续潜路径可重构不同的生物学衰老原型,为模拟人类分子衰老提供了生成式范式。
研究人员提出多模态概念瓶颈模型 MM-CBM,将概念瓶颈层扩展至 CLIP 结构,在四个标准基准上平均准确率提升 23.28%。 该模型利用双概念瓶颈层对齐图像与文本嵌入,支持可解释的零样本分类和图像检索,已获 TMLR 2026 录用。
研究证明 LeJEPA 在高斯潜变量分布下具备线性可辨识性,能可靠规划。 理论推导显示高斯分布是唯一保证该性质的潜变量分布。 实验验证了从 2D 到 4096 维潜变量及 ImageNet-X 自然图像的有效性。
介绍拓扑推理基准 CurveBench,Gemini 3.1 Pro 在 Easy 集准确率为 71.1%。 基准含 756 张手绘图,Qwen3-VL-8B 经 RL 训练后 Easy 集达 31.7%。 该论文已被 NeurIPS 2026 评估与数据集赛道接收。
研究提出Co-RL框架,通过多智能体协同强化学习实现无监督推理,无需真值标签。 在7个基准测试上平均提升3.0-7.9%,4个多模态基准提升1.6-4.4%。 该方法比先前SOTA方法CoMAS高4.0%,比MM-UPT高2.0%,且代码已开源。
针对动作空间随机噪声难以产生全局扰动的局限,提出Prompt Driven Exploration (PDE) 策略。该方法利用视觉语言模型分析轨迹视频并重写提示词,在机器人操作与推理任务中实现零奖励起始的强化学习策略训练。
研究发现 Transformer 模型思维链(CoT)轨迹的有效维度 d_rho 能预测任务难度,在 Qwen2.5 模型上的 AUROC 达到 0.96。 研究在 MATH500 数据集的 86 道题上验证了 Qwen2.5 0.5B 至 7B 三个规模,七类运动学特征在生成 20% token 时即可预测正确性,AUROC 介于 0.77 到 0.88。
Seahorse 发布统一评测框架,标准化时空点过程(STPP)模型训练与评估,解决现有对比中预处理及似然约定不一致导致的脆弱性问题。 框架提供编码-演化-解码接口,在 13 个真实数据集和 19 个预设中测试,结果显示无单一模型在所有指标上占优。 该论文已被 NeurIPS 2026 评估与数据集轨道接收,代码已开源,为比较和诊断 STPP 模型提供了可复用基础设施。
summary_zh: Multistage Defer Trees 提出由稀疏决策树组成的序列,在匹配复杂树集成性能的同时,让大多数样本仅通过少量树完成预测,从而扩展了准确-可解释前沿。
TILR框架通过子空间约束修正潜在轨迹,解决现有方法对超参数及参考依赖的脆弱性问题。该训练免法将对比更新投影至稳定子空间,并利用自适应门控抑制不可靠修正。在Coconut骨干模型上,TILR在语义等效改写下提升答案一致性11.4%,降低潜在轨迹方差约30%。
研究者提出 Eigenspace-VON (EVON) 优化器,将 IVON 方法在 SOAP 预条件子的特征空间中运行,生成名为 SOAP-Bubbles 的后验分布。 该新方法计算成本与 SOAP 相当,无需大幅修改训练流程,在语言模型预训练中显著优于现有对角协方差方法。 EVON 在逻辑回归中匹配全高斯协方差性能,使大规模深度学习更容易获得更具表达力的后验分布。
针对 LLM 在关键任务中因 16-bit 精度导致的多 GPU 输出分歧,研究提出 HEAL 方法。 HEAL 结合 INT16 量化与 16-bit Tensor Core 的高精度矩阵乘法,在保持 FP32 基线可重现性的同时,将性能开销降低高达 6.0 倍。 该方法解决了全局 FP32 流水线的高内存与计算代价,为金融、医疗等领域的 LLM 部署提供了解决方案。
研究者提出 Guided-OPD 算法,通过混合师生生成的轮次并实施衰减的课程引导,解决小模型误差累积导致轨迹偏离教师分布的问题。 在 ALFWorld 等基准上,使用 Qwen3-30B-A3B 教师模型蒸馏 Qwen3 学生模型,其平均分比标准 OPD 提升 21.1%,成功率提升 25.5%。 该算法在较小规模学生模型上带来更大收益,有效降低了多轮智能体任务对大型模型推理成本的依赖。
线性自注意力 Transformer 块可显式构造实现 semi-gradient SARSA 等策略改进方法,并提供 ICRL 领域首个收敛保证。 该收敛保证指出,在丰富训练 MDP 分布下,梯度流动局部且指数级收敛至最优参数流形。 经验证,在随机 MDP 上训练的模型能恢复参数结构并在新 MDP 上展现强控制性能。
LINE 提出了一种无需训练的迭代方法,用于视觉模型中开放词汇的概念标签化。 该方法在 ImageNet 上 AUC 提升最高达 0.15,在 Places365 上提升 0.05。 LINE 被 NeurIPS 2026 接收,并能发现预定义词表中 25% 的缺失概念。
Clari 大幅降低有机晶体结构预测(CSP)成本,将 OXtal 的分钟级耗时缩短至秒级,并取代了昂贵的 triangle layers。 该模型基于 flow matching,仅需原子类型和键作为输入,支持推理时扩展;在 OXtal 测试集上,solve rate 超越 OXtal 并保持 15-30 倍速度提升。 这使得大规模虚拟筛选实用化,代码已公开。 ```
研究揭示最小注意力Transformer在全token损坏下可解释为两阶段经验贝叶斯过程,单次注意力步骤计算基于上下文经验分布的核加权后验均值。 深度通过粒子动力学细化分布,长程跳连将噪声输入作为查询用于后验推理,区分了深度与注意力残差的统计角色;无需显式噪声调度,固定核带宽与有限积分视界即可实现有效去噪。
该研究提出新随机采样器 Precise,通过冻结干净潜变量后验均值实现 SDE 一致性,平衡探索与去噪稳定性。 实验显示其比现有采样器减少 13.1-53.2% 训练时间,同时在 PickScore 和 HPSv2.1 等基准上达到最先进对齐分数,加速并稳定强化学习奖励优化。
研究提出多智能体残差上下文学习(MARICL)框架,利用 LLM 智能体分析高残差示例并编写可执行修正项,以修复基础模型在表格数据上的结构化残差。在涵盖科学、生物医学等领域的 9 个基准测试中,MARICL 在全部数据集上提升了基础模型性能,在 8 个真实数据集中的 5 个上超越最强基线。该方法提供了黑盒基线无法提供的可检视修正项,并在未见过的合成数据中恢复了隐藏结构,相关代码已公开。
EVA-0 提出零阶测试时适应框架,无需反向传播,仅用每样本两次前向传播完成推理与适应。 框架采用尺度不变损失、锚点引导优化及样本级对称双侧扰动,解决捷径解、权重漂移及方向估计问题。 在 ImageNet-C 和 ViT-Base 上,EVA-0 性能优于 DeYO 和 FOA,比 FOA 快 14 倍,代码即将发布。
MARR 提出模块自适应残差重建策略,通过 PID 控制器调整模块特定缩放系数,在低位数(≤4-bit)训练后量化中平衡误差修正与 Hessian 近似偏差。实验表明,该策略使 LLM 困惑度降低最多 20.2%,ViT 准确率提升最多 4.6%。
论文提出 ADAP 算法,将推理时语言模型管线形式化为生成式主动搜索问题,通过分层自适应生成、排序与验证降低调用昂贵验证器的成本。 在单调性假设下,ADAP 在数学期望成本上达到分布感知最优策略的常数倍上界,并证明了基于中心星数的学习理论下界。 实验验证了 ADAP 在数学推理和竞技编程任务中优于固定非自适应策略及难度自适应基线,论文为 NeurIPS 2026 终稿。
论文提出 QuBD(量化块分解)方法,将算法复杂度估计扩展到任意 k 进制对象,为大型非二值 DNN 权重提供首个可扩展且可处理的 Kolmogorov-Chaitin-Solomonoff (KCS) 复杂度估计。
Ghosted Layers提出了一种无需训练的方法,通过求解边界激活对齐问题来恢复层剪枝LLM。该方法利用校准集推导闭合形式的最优线性算子,重构被剪枝层引入的激活差异。 在多个LLM骨干和剪枝策略下,Ghosted Layers在精度和困惑度上大多优于现有无需训练的恢复方法,同时保留剪枝效率。
该研究分析了强混合依赖观测下的最近邻半径。作者建立了多项混合下的分布无关几乎必然收敛定理,以及几何混合下的非渐近矩界。 矩界取决于局部内在维度而非环境维度,使结果适用于低维流形上的高维数据。 合成实验和真实时间序列基准表明,最近邻几何在相关采样下仍具有信息量。
TGPO 是一种在大策略分歧设置下依然有效的在策略推理蒸馏方法,旨在解决现有基于 reverse KL (RKL) 的 OPD 方法在教师-学生策略分歧较大时失效的问题。