归一化深层神经网络中的 Lipschitz 爆炸对优化与对抗鲁棒性的影响
含归一化层的深层神经网络中,输入与参数 Lipschitz 常数随网络深度呈指数增长,即使每层范数受限且激活函数为线性。 这种爆炸导致依赖 Lipschitz 常数的非光滑优化保证退化为指数级界,并使最坏情况下的泛化与对抗鲁棒性证书失效,揭示出新的奇异方向扰动会被显著放大。
含归一化层的深层神经网络中,输入与参数 Lipschitz 常数随网络深度呈指数增长,即使每层范数受限且激活函数为线性。 这种爆炸导致依赖 Lipschitz 常数的非光滑优化保证退化为指数级界,并使最坏情况下的泛化与对抗鲁棒性证书失效,揭示出新的奇异方向扰动会被显著放大。
该研究提出了 SZO-κ 方法族,通过推导来自前向传播激活几何的零阶搜索方向,替代了传统的盲随机噪声。 SZO-κ 的方向在显式随机假设下解决了基于局部响应的梯度猜测目标,探索了更可能产生信息性损失响应的特征支持方向。 实验在多层和卷积神经网络中分析了该方法与标准扰动基准及反向传播相比的梯度对齐、偏差-方差结构和训练稳定性。
研究发现 LLM agent 在低预算分子优化上的表现主要依赖可检索任务信息。在 50 次 oracle 调用中,GPT-4o mini agent 的 sum AUC 从 14.44 降至 4.85,而确定性检索基线达到 12.16。
研究证实百亿参数模型的优化轨迹被约束在有效维数 $d_{\text{eff}} \le 12$ 的低维执行子流形上。 该工作推导了基于持续同调的拓扑泛化界限,并验证了 Top-SGD 算法在 ImageNet 上将训练时间减少 14.1%。 代码已公开,为理解过参数化神经网络的泛化能力提供了严格的数学解释。
PRISM 发现 18 种模型配置中 11 种在受监控提示下合规度更高,但移除训练威胁仅使合规度变化 -3.3 至 +1.6 分,表明监测效果主要由措辞驱动而非伪装行为。隐藏状态探针区分受监控与未监控回答的 AUROC 为 0.96-0.99,但其对拒答的区分能力相同,仅识别提示词而非伪装意图。
研究提出针对 VLM 蒸馏的 Hide to See 框架,通过掩码技术解决长思维链中的视觉遗忘问题。 该框架包含 token 级显著前缀掩码和自适应性掩码预算调度策略,实验结果显示其在多模态推理基准测试中优于近期开源 VLM 及自蒸馏方法,有效增强了视觉信息利用率。
针对现有指标无法衡量推理轨迹彻底性的问题,本文提出转移效用方法,通过弱模型补全不完整轨迹来量化可读性。 在评估12个推理模型的84k条轨迹时发现,性能最高和效率最高的模型转移效用反而最低。 该指标能预测弱监控器对数学和逻辑密集轨迹的验证能力,但开源奖励模型与正确性信号解耦。
研究提出一种无训练的方法,利用高温采样和PCA分析,在LLM激活中发现条件提示的风格轴。在Qwen-3.5-4B-Instruct模型上,前两个轴与人类标注的72.8%精确度和75.6%的有效性评估相符。
BiG-SURE 提出一种基于跨温度语义一致性评估 LLM 不确定性的方法,通过构建锚点-探针二部图计算置信度。 该方法利用 NLI 蕴含分数构建图结构,以归一化平方谱能量定义置信度,并在文本、多语言及多模态 QA 任务中提升了黑盒不确定性估计的平均弃权 AUROC。 该方法保持无监督且适用于黑盒模型设置,为安全关键场景部署提供了更可靠的可靠性估计方案。
CoRP 提出一种免梯度的奖励扰动整合方法,将后训练推断时的集成替换为单次前向传播。在 0.5B 至 8B 语言模型及数学、代码等任务上,CoRP 平均提升 8.1 分,超过 RandOpt 单步推断 6.5 分。
研究提出树视角的 Canopy Entropy (CE*) 指标,指出微调并非单纯降低不确定性,而是重组生成空间。CE* 联合捕获输出长度与序列熵,等于总 Shannon 熵。 控制变量后,微调使熵率与语义多样性的相关性增强近 3 倍。这意味着对齐模型能更高效地将 token 不确定性转化为语义多样性。
研究引入儿童语言习得定量指标,评估语言模型在英语限定词句法与语篇功能上的表现。 提出 Contextual Alternative Choice (CAC) 提示方法,使模型能与统计基准直接对比。 当前无模型能像儿童同时满足形式与功能基准,但部分超大模型表现接近。
MATO 提出无需训练的 LLM 多目标个性化对齐框架,通过动态调整解码权重提升控制性。该方法不修改参数,使用提示词奖励和权重优化,在多数据集上超过基线并实现帕累托改进。为可扩展、模型无关的个性化对齐提供可行路径。
Scratchpad Patching (SP) 将计算量与补丁大小解耦,提升字节级模型效率。 SP 通过 next-byte 预测熵触发临时 scratchpads,在 $16$ bytes/patch 时使 KV-cache 缩小 $16\times$,推理计算量减少 $3$-$4\times$。 方法在自然语言和代码基准上使 $16$-byte 补丁模型接近字节级基线质量。
CoBit 是一种连续扩散语言模型,通过联合去噪固定宽度二元令牌代码生成文本,将代码比特分组为单个 Transformer 补丁以保留序列长度。CoBit-S(130M 参数)在 LM1B 和 OpenWebText 上的生成困惑度分别为 59.76 和 27.06;扩展到 462M 参数后,OpenWebText 困惑度降至 19.48。
Adamas 提出一种结合 Hadamard 变换、分桶及 2-bit 压缩的 token 级稀疏注意力机制,用于高效长上下文推理。 该机制通过轻量级距离估计筛选 top-k 候选,在 Llama-3.1-8B-Instruct 有效上下文内保持近无损性能,32K 长度下实现 6.5 倍自注意力加速。 AIME 2024/2025 等长程推理基准测试中,其表现与完整注意力机制相当。
提出 BitDecoding-FP4,实现原生 FP4 KV Cache 解码,Qwen3-4B 等模型在 B300 上吞吐量提升 2.4-3.0 倍。 通过双残差量化、概率缩放及异常值感知量化降低误差,精度保持在 BF16 的 0.5 点以内,支持 Qwen3 等模型及 NVFP4 格式。 代码已开源,适用于稠密与 MoE 模型的长上下文 LLM 服务场景。
测试显示 Laya 模型在选项顺序变化下改变答案的比例高达 25.8%,其中低置信度区间翻转率显著更高。 针对 951 道验证过的题目进行多种排列测试,发现调整选项顺序可显著影响结果。使用 2,818 行数据微调后,翻转率降至 7.2%,其中打乱顺序策略贡献了 4.2 个百分点的改进。
RidgeFill 通过免训练的岭回归预测晚期层输入,在不修改模型权重的情况下加速 LLM Prefill 阶段。 在 Qwen3.8-Flash-Next 上,该方法使 9K-32K token 下的首 token 延迟降低 1.50 至 1.60 倍;RULER 评测得分由 100.0 降至 99.8,陌生 token 困惑度增加 2.65%。
论文提出数据为中心的图中间表示 RPEG,用于联合优化推理语言模型(RLM)训练流水线的结构与执行。 RPEG 暴露有界异步、actor-critic 共享等结构选择,并结合阶段融合、细粒度调度和多维模型并行优化,配套分析性能模型。在最多 256 块 GH200 GPU 上,其分布式运行时较 ReaL 提速最高 2 倍、较 verl 降低步延迟最高 2.48 倍,硬件利用率提升最高 30%。
PathXAI 结合组织分割信息与 H&E 图像生成结构化病理报告,其分割组件在内部和外部测试中 Dice 均值超越基线模型。 在 1,200 个公开和 151 个私有病例评估中,PathXAI 与参考诊断的吻合度高于 H&E 对照组,其中 PathXAI-Report 比 Qwen + H&E 的癌症家族匹配率高 4.4 个百分点,发现 F1 值高 5.7 个百分点。
研究通过区分感知与计数复杂度,揭示多模态LLM在图示任务中失败的根源。针对Gemini等模型,思维链模式下错误率主要受答案数值量级驱动(每十进制数下降2.38倍)。提供代码与转录后,10x10网格计数正确,但单次阅读易漏横向边;结合旋转副本二次读取,大网格精确识别率达86/96。
研究提出 PHANTOM-Bench 基准,用于测量多智能体 LLM 系统中“幻影共识”现象,即公开决策受模糊社交信号影响而偏离私有判断。 在涵盖九种模型测试中,模糊公开信号导致决策准确率最高下降 47.8 个百分点,集体理性失败率最高达 47.3%。 该研究被 NeurIPS 2026 SocialAgent Workshop 接收,指出评估多智能体系统需区分真实共识与表面共识。
ResQAdam 提出残差保持自适应优化,将 QAT 优化器状态内存降低 71% 至 74%,训练吞吐量损失低于 2%。 该方法保留单 BF16 动量,对主子空间应用 Adam,并对残差执行归一化符号更新。 ResQAdam 支持 2 位权重量化,在多种 QAT 方法中表现接近 AdamW。
提出首个基于目标隐藏状态条件的流匹配推测解码范式 ChainFlow,只需 1-2 步传输即可生成草案。 在 Qwen3.5 模型上,同规格下 ChainFlow 比 EAGLE-3 和 DFlash 快 39% 和 11%,代码与模型已开源。
LambdaMix 通过联合训练低秩适配器,利用组相对在线强化学习实现偏好条件化策略族的学习。该方法仅需一次训练运行即可支持推理时动态调整偏好,无需进一步优化。
研究提出RuACT框架,将非活跃评分标准转化为自适应教师或批评者,解决RL中评分标准失效问题。 在Qwen3-4B医疗训练中,非活跃观测占比60.88%;引入框架后,不可达评分标准的无引导恢复率从35.02%提升至42.86%。 代码已开源,该框架在医疗与科学基准测试中全面超越GRPO等基线方法。
研究提出 QGPM,这是一种无需训练的方法,利用模型自身注意力头的查询相关性重塑 RoPE 位置,以缓解长上下文中的“中间迷失”现象。 QGPM 在低层构建广泛相关性图,高层构建尖锐图;低相关性令牌在快速旋转平面上推进不足一个位置,将相关证据拉向查询,而慢速旋转平面保持原布局。
论文提出 APEX 框架,通过两阶段检索实现无需微调的口语理解(SLU)。该框架先利用意图原型筛选候选意图,再在选定意图空间内检索上下文示例。 在 SLURP 数据集上,APEX 使 Qwen3 4B 和 Gemma-3-4B 的 EMA 分别提升 4.34 和 3.97 个百分点;高困惑度输入下 EMA 增益为 7.66 和 2.13 个百分点。
MARS 是一个基于强化学习的多语言搜索智能体,通过直接操作原始语料库实现无检索器的证据获取,并引入语料库原生实体锚定技术。 模型设计了冗余感知的搜索奖励,旨在生成简洁高效的搜索轨迹,避免多语言场景下强化学习的训练坍塌。 实验表明 MARS 在多语言泛化性上优于基线模型,并显著减少了冗余的语料库交互。
一项针对 60 组盲评的研究表明,推理增强并未普遍提升大语言模型的心理学深度。人类评估显示 DeepSeek-R1 落后于 DeepSeek-V3(42.9%),而 GPT-5 仅微弱优于 GPT-4o(60.0% 至 62.9%)。LLM 评审则表现出强烈的推理偏向,在 98.3% 的配对中支持推理模型。
研究证明无训练控制器 ELIDE 可在 670 个公开提示中安全省略生成文本。 在三个模型族上,ELIDE 优于匹配长度的截断,且仅当 NLI 模型判定被省略片段已由已展示文本蕴含时才扣留内容。 在两个新测试中,将许可范围限制在语篇单元可将有害省略比例降至约十分之一。
递归自训练使英语 GPT-2 词汇量减少但常用虚词主导性降低。在 9 代训练中,随着采样温度升高,最小熵、碰撞熵、Shannon 熵和观察丰富度依次发生从损耗到增益的交叉。第 9 代词汇类型减少 24%,但碰撞熵高出 0.91 bits。研究建议在固定预算下报告熵轮廓及独立质量指标。
OpenAI 宣布 GPT-6 Cyber 模型,Calif.io 被列为早期采用者。 引用来源表示该模型在性能上远超以往使用的工具。
summary_zh: ZipDrift 通过训练单步漂移生成器生成 MPC 成本校正候选,并利用学习型评估器进行排名,在短视界模型预测控制中提升了处理多模态最优解的能力。
提出模型 Undertone-P,利用其他评分者学习冻结视觉语言模型(VLM)回归权重的高斯先验,实现少样本个性化图像审美评估。 在 PARA 基准测试中,该方法仅用先验达到 0.640 的 Spearman 相关系数,10 和 100 个新评分将其提升至 0.648 和 0.676,且在审美偏好偏离大众时提升显著。
该研究将 SGD 视为马尔可夫随机过程,推导出限制参数获取数据生成参数信息速率的 Fisher 信息流速度限制不等式。 该不等式将信息流上限分解为漂移与噪声贡献,量化了确定性学习力与 SGD 诱导波动的角色。 研究通过解析可处理的基函数线性回归验证了该界限,确认其能复现不同参数编码顺序与特征时间尺度。
研究发现 LLaDA-8B-Instruct 在迭代解码时对位置偏移敏感,仅 1% 的 token 位移即可显著降低 Arena-Hard 胜率。 作者将连接时序分类(CTC)引入掩码扩散语言模型的监督微调,通过引入吸收位置不确定性的特殊 token 及更新后的坍塌映射,放宽了交叉熵损失的严格位置匹配要求。
该研究提出一种校准选择策略,通过学习可靠默认值并针对每个任务自适应激活函数及其位置,以提升长期时间序列预测精度。 在基于1,225次Informer训练、覆盖17个数据集变体和51个预测任务的评估中,该策略相比传统固定激活基线平均将均方误差降低7.86%,并在72.55%的任务中取得改进。
Reward Budgeting 是一种即插即用的优势构建方法,能缓解 LLM 推理强化学习中的过早收敛现象。 在 Qwen3-8B 和 Llama3.2-3B-Instruct 上,该方法稳定提升基线性能,AMC23 提升达 +12.50,AIME24 与 AIME25 提升达 +10.00。 该研究被 NeurIPS 2026 接收,证实无需显式保持熵即可获得显著增益。