神经网络能外推吗?特征工程作为OOD泛化的可辨识性偏差
深度神经网络在分布内训练窗口学习显著特征时,若无法识别数据生成过程(DGP)结构,则无法实现分布外(OOD)泛化。 单一训练窗口内无穷多DGP观测等价但边界外任意发散,结构性承诺(特征映射、标签映射、模型类)决定OOD泛化且基本不影响分布内性能。 研究在化学、物理、生物及组织病理学等场景及Transformer、Mamba、S4D架构中验证了该机制。
深度神经网络在分布内训练窗口学习显著特征时,若无法识别数据生成过程(DGP)结构,则无法实现分布外(OOD)泛化。 单一训练窗口内无穷多DGP观测等价但边界外任意发散,结构性承诺(特征映射、标签映射、模型类)决定OOD泛化且基本不影响分布内性能。 研究在化学、物理、生物及组织病理学等场景及Transformer、Mamba、S4D架构中验证了该机制。
研究指出,在噪声多项式回归任务中,Transformer 模型在分布内表现接近完美,但在输入或目标函数分布发生偏移时,性能急剧下降。这种退化现象存在于不同多项式次数及高维非线性回归中,并通过受控实验和架构消融得到证实。
summary_zh: ANCORA 提出开放式课程自我博弈范式,统一策略在生成可验证问题与解决之间交替,通过流形锚定机制提升推理能力。
DPRM 通过 Doob h 变换将终端奖励转为过程奖励,作为可插拔模块优化离散扩散模型的 token 排序。 在 9 个开源模型上,该方法将 PUMA GSM8K 准确率提升 14.6%,Omni-Diffusion CLIP-L/14 提升 13.2%,且仅改变 token 顺序而不修改宿主架构。 证明了终端奖励能纠正局部自信但全局低质的选择,代码已开源。
研究者提出 Stochastic Attention 方法,通过推理时随机化注意力权重生成预测集成,无需重新训练即可实现校准的不确定性。 该机制在天气和时序预测等科学基础模型上评估,以远低于次优基线近三个数量级的适配成本,实现最强原生校准和尖锐预测区间。 代码已开源。
该研究提出名为 Claudini 的自动研究框架,使前沿AI智能体(如 Claude Code 和 Codex)能够自主发现针对大语言模型(LLMs)的对抗性攻击算法。
LLM 驱动的生成式优化因“隐藏”的设计选择而脆弱,导致仅 9% 的代理使用自动化优化。 研究识别出起始工件、信用视界和批量大小是关键因素,在 MLAgentBench、Atari 和 BBEH 案例中决定优化成败。 作者提出的批处理规则经 TBLite 校准后,在 DeepSWE 上表现接近最优配置,差异小于 1%。
该研究提出基于稀疏性的分布外(OOD)泛化理论,指出假设依赖尽可能少的特征。 核心机制通过奥卡姆剃刀原则筛选稀疏假设,并在训练与测试分布重叠时实现泛化。 论文将经典样本复杂度界推广至 OOD 语境,并形式化为子空间 junta 模型。
summary_zh: SHERLOC 框架通过统计假设评估从观测攻击中反推攻击者特征,实现了对抗学习取证。 该框架在多项安全领域实证中,利用推断出的攻击者可使防御系统达到 90%-100% 的鲁棒性提升。
研究提出 ACE 方法,发现 6 个不同规模的 Transformer 模型中,主谓一致由单一可操纵轴控制,翻转该轴可反转语法数。 这些模型在间接宾语识别中通过紧凑核心进行计算,该核心跨架构对齐,且验证了从记忆到泛化的逆缩放定律。
研究人员提出秩感知谱界方法,为 Transformer 注意力低精度训练提供溢出保护,在 Llama-2-70B 等模型上消除 FP8 溢出且 MMLU 准确率持平。 该方法基于交互矩阵谱范数计算每层缩放因子,结合隐式幂迭代和融合注意力内核,相比无秩感知界收敛更紧密。 论文已被 ICML 2026 接收,代码已公开。
距离引导强化学习(DGRL)通过结合采样动态邻域与基于距离的更新,支持多达 $10^{36}$ 个动作的强化学习任务。 该方法将策略优化转化为稳定回归任务,实现随机体积探索,并解耦了梯度方差与动作空间基数。 在结构化任务中,DGRL 性能比最先进基准最高提升 66%,同时加速收敛并降低计算复杂度。
**可学习切尔诺夫基线用于推理时对齐** ### 2. 中文摘要 针对推理时奖励引导对齐中架构依赖或计算成本高的问题,研究提出可学习切尔诺夫基线(LCB)方法。 LCB 仅通过预训练模型的无监督采样访问实施拒绝采样,利用自适应选择的接受概率实现推理计算的细粒度控制。 该方法在连续和离散扩散设置中证明,LCB 采样以显著更少的预训练模型查询次数,紧密匹配理想拒绝采样效果。
提出基于 Flow Matching 的解纠缠表示学习框架,通过非重叠正则化提升语义对齐。 实验显示该方法在多个数据集上超越基线,提高了解纠缠分数、可控性及样本保真度。
NeurIPS 2026 接收的论文提出 Soft-Radial Projection (SRP),一种将网络输出映射至凸可行集相对内部的微分可重参数化层,保证严格可行性且映射一一。
论文提出 self-rewarding SMC 算法,通过并行扩散过程作为粒子探索轨迹,并以 trajectory-level confidence 作为自奖励信号来分配重要性权重。该方法在多种 masked diffusion 语言模型和基准测试中验证有效,无需额外训练或奖励引导即可显著提升采样质量。
RAPTOR 是一种基于岭回归自适应的正则化 Logistic 探针,通过验证集调优岭强度从归一化权重中提取概念向量。该方法在指令微调 LLM 实验中与强基线持平或更优,且训练成本大幅降低。研究借助凸高斯极小极大定理解释了惩罚强度对探针准确性及稳定性的机制。
TriSpec 提出三值推测解码框架,利用轻量级代理替代全模型验证以降低成本。 该框架可集成 EAGLE-3,相比标准 SD 最高实现 35% 加速,减少 50% 目标模型调用。 论文已被 NeurIPS 2026 接受。
JURIST 是一款 1.7B 参数量的小型推理裁判模型,利用接近部署的小规模元数据集对早期训练数据进行加权,以训练适合测试时扩展的裁判模型。
研究提出 Soft-TAC 可微分近似作为损失函数,用于训练最大化轨迹对齐系数(TAC)的奖励模型。用户研究表明,迭代 TAC 反馈虽能降低设计 Lunar Lander 奖励的认知负荷,但手动设计仍耗时巨大。
提出无训练框架 USteer,利用置信度度量对模型层激活值的梯度,在推理时动态调整模型行为,从而系统性降低大语言模型在推理任务中的幻觉率。 该方法无需修改模型参数或额外监督,仅通过引导生成过程降低不确定性。 已被 NeurIPS 2026 主会接收。
Mosaic 提出内存高效推理系统,将扩散 LLM 最大推理序列长度在相同硬件上提升 15.30-32.34 倍,内存峰值与平均值比率降低 2.71 倍。 系统整合 mask-only logits 内核、延迟分块优化器及全局内存管理器,实现无训练且保留精确模型输出,端到端延迟降低 2.5%-55.4%。 该研究发表于 ICML 2026,代码已公开。
提出一种无需似然的贝叶斯优化方法,利用通用 LLM 和化学基础模型先验直接指导采集函数,跳过显式代理建模。 结合树结构划分与蒙特卡洛树搜索提升选择效率,并引入粗粒度 LLM 聚类限制评估范围,以增强大规模候选集下的可扩展性。 实验表明,该方法在分子发现场景下显著提升了贝叶斯优化的鲁棒性和样本效率。
研究提出 Spectral Feedback 算法,通过稀疏傅里叶表示优化编辑位置选择,提升蛋白质扩散模型生成稳定蛋白质的比例。该算法在逆折叠任务中,比预训练模型稳定性提升 32.3 个百分点。模型无关设计使其适用于预训练、测试时对齐及微调扩散模型,无需修改底层生成过程。
arXiv 论文提出 ContrAgent 框架,利用线性时间逻辑(LTLf)合同对 LLM 智能体工具调用轨迹进行符号化监督,以防范幻觉及不可逆操作风险。 框架将假设保证合同编译为确定性有限自动机(DFA),实现动作在线门控与轨迹离线评估;该合同库独立于模型且可跨智能体复用,四个基准测试显示其单次调用延迟比 LLM 评判器降低数个数量级。
论文证明当智能体效用可线性表达时,AI 对齐可重构为凸影响空间上的线性优化,从而应用福利经济学工具。 该方法使基于议题投票和随机独裁机制具有策略鲁棒性,并推导出最大化功利主义社会福利的对齐协议。 作者利用肾脏分配、慈善食物分配、LLM 回复和电车难题的人类偏好实证展示了福利影响。
Mamba 通过测试时特征学习高效实现上下文学习(ICL),提取单索引模型中的相关特征方向。 其样本复杂度优于类似核方法的线性 Transformer,并与非线性 Transformer 相当。分析揭示了非线性门控机制在特征提取中的关键作用,驱动 Mamba 的算力效率与高性能。
研究人员推出名为 Science Edge Evaluation (SEE) 的多模态基准测试,评估 28 个模型后发现最佳准确率仅为 54.9%。测试显示通用模型平均表现优于科学专用模型,且工具使用虽将最高准确率提升至 56.1%,但无法确保模型在实验证据边界内进行可靠推理。
提出 CastFSR 框架,结合快思考预测、慢思考推理与反思评估,解决时间序列预测中上下文证据的整合问题。 支持免训练 LLM 协调及 WATD 与 TLPO 两阶段后训练,提升协调器性能。 在多个真实数据集离线评估中,展示了与代表性基准竞争的性能。
该研究针对黑盒 API 场景,提出一种基于 Transformer 能量模型(EBM)代理的模型无关事后归因解释器。 训练后的解释器独立运行,无需运行时 API 查询即可估算提示词对输出句子的影响。 该方法实现了参数高效的 O(1) 推理,归因质量与竞争基准相当。
强化学习框架 SEELE 通过动态调整题目难度至高性能区间,解决了现有 RLVR 方法探索效率低下的问题。 该框架在每组训练样本中追加提示并计算最优长度,利用多轮 rollout 采样结合项目反应模型拟合准确率-提示对以预测下一轮提示。 实验显示 SEELE 在六个数学推理 benchmark 上平均超越 GRPO +10.0 分、SFT +8.4 分,较最佳既往方法提升 +3.8 分。
提出 AMTFV 框架,通过数学工具流解耦验证建模与执行,支持精确计算。 在五个高难度数学推理数据集上,AMTFV 整体优于基线模型,单项配置下平均准确率比最强基线最高提升 8.3 个百分点。 该方法在中等及高验证复杂度的样本上提升效果更为显著。
OrigaMI 将机制可解释性应用作为 LLM 服务系统的一级组件,实现简化开发、高效执行与灵活部署。 其通过 Python DSL 简化访问模型内部状态,利用 FlashInspect 内核高效获取注意力分数,并支持运行时动态激活。 OrigaMI 执行开销比现有框架低两个数量级,动态激活速度提升 1000 倍,使可解释性应用在生产环境部署成为可能。
论文提出 Evolving Programmatic Bottlenecks (EPB),首个基于替代模型的 NCO 事后可解释性方法。 EPB 利用 LLM 演化程序化决策规则,通过迭代框架优化文本程序与数值路由器。 实验显示 EPB 替代模型能匹配教师策略行为,并支持通过程序编辑提升泛化能力。
研究发现直接梯度对抗攻击对局部训练的脉冲神经网络(SNN)无效。 研究者引入混合对抗攻击范式,利用对抗实例的可迁移性,性能优于现有方法。 该方法在多步攻击、黑盒场景及非脉冲领域均展现出良好的泛化性。
Subliminal learning is mediated by a single steering vector added to model activations. Across two open-source models。
研究表明,在 LLM 做关于人的决策时,Agent 人设中的字符串若出现在候选者档案中,会显著改变选择结果。 测试涵盖 14 个公开模型、32.8 万个两选一决策。
研究提出引导式随机探索框架,在无需重训情况下显著提升递归模型推理精度。 Sudoku-Extreme 精确求解准确率从 85.9% 升至 98.0%,PPBench 基准成绩从 62.5% 提升至 77.9%。 论文已被 NeurIPS 2026 主赛道接收,代码已开源。
针对非凸函数全局优化,学习率衰减下的 SGD 在小步长区域所需的梯度查询次数比固定学习率少指数倍。 这是目前已知学习率衰减带来的首个指数级优势,该函数类别包含许多常用基准非凸函数。 基于弱 Poincaré 不等式的创新应用,证明了退火(annealing)能以多项式时间完成相关的非对数凹采样任务。
该文章旨在探索Granger因果性在动力系统中的应用,指出其检测的是信号间预测关系而非机制间因果关系。 作者首先回顾了观测空间Granger分析的最新进展,随后探讨在何种条件下可将其转化为隐变量动力学模型中的定向结构,以读取因果结构。