跳到正文
11月9日周一
  1. arXiv · ML31

    归一化深层神经网络中的 Lipschitz 爆炸对优化与对抗鲁棒性的影响

    含归一化层的深层神经网络中,输入与参数 Lipschitz 常数随网络深度呈指数增长,即使每层范数受限且激活函数为线性。 这种爆炸导致依赖 Lipschitz 常数的非光滑优化保证退化为指数级界,并使最坏情况下的泛化与对抗鲁棒性证书失效,揭示出新的奇异方向扰动会被显著放大。

  2. arXiv · ML21

    基于激活几何推导统计对齐的零阶梯度估计:Spectral Zeroth-Order 方法

    该研究提出了 SZO-κ 方法族,通过推导来自前向传播激活几何的零阶搜索方向,替代了传统的盲随机噪声。 SZO-κ 的方向在显式随机假设下解决了基于局部响应的梯度猜测目标,探索了更可能产生信息性损失响应的特征支持方向。 实验在多层和卷积神经网络中分析了该方法与标准扰动基准及反向传播相比的梯度对齐、偏差-方差结构和训练稳定性。

  3. arXiv · ML30

    百亿参数神经网络中的涌现低维拓扑动力学如何决定泛化与逃逸机制

    研究证实百亿参数模型的优化轨迹被约束在有效维数 $d_{\text{eff}} \le 12$ 的低维执行子流形上。 该工作推导了基于持续同调的拓扑泛化界限,并验证了 Top-SGD 算法在 ImageNet 上将训练时间减少 14.1%。 代码已公开,为理解过参数化神经网络的泛化能力提供了严格的数学解释。

  4. arXiv · NLP49

    PRISM 压力测试“对齐伪装”主张

    PRISM 发现 18 种模型配置中 11 种在受监控提示下合规度更高,但移除训练威胁仅使合规度变化 -3.3 至 +1.6 分,表明监测效果主要由措辞驱动而非伪装行为。隐藏状态探针区分受监控与未监控回答的 AUROC 为 0.96-0.99,但其对拒答的区分能力相同,仅识别提示词而非伪装意图。

  5. arXiv · NLP34

    Hide to See:基于前缀掩码的 VLM 蒸馏框架

    研究提出针对 VLM 蒸馏的 Hide to See 框架,通过掩码技术解决长思维链中的视觉遗忘问题。 该框架包含 token 级显著前缀掩码和自适应性掩码预算调度策略,实验结果显示其在多模态推理基准测试中优于近期开源 VLM 及自蒸馏方法,有效增强了视觉信息利用率。

  6. arXiv · NLP42

    测量推理模型弱到强可读性:引入转移效用评估指标

    针对现有指标无法衡量推理轨迹彻底性的问题,本文提出转移效用方法,通过弱模型补全不完整轨迹来量化可读性。 在评估12个推理模型的84k条轨迹时发现,性能最高和效率最高的模型转移效用反而最低。 该指标能预测弱监控器对数学和逻辑密集轨迹的验证能力,但开源奖励模型与正确性信号解耦。

  7. arXiv · NLP20

    BiG-SURE:基于二部图的 LLM 语义不确定性评估方法

    BiG-SURE 提出一种基于跨温度语义一致性评估 LLM 不确定性的方法,通过构建锚点-探针二部图计算置信度。 该方法利用 NLI 蕴含分数构建图结构,以归一化平方谱能量定义置信度,并在文本、多语言及多模态 QA 任务中提升了黑盒不确定性估计的平均弃权 AUROC。 该方法保持无监督且适用于黑盒模型设置,为安全关键场景部署提供了更可靠的可靠性估计方案。

  8. arXiv · NLP28

    微调语言模型的信息传递机制:Canopy Entropy 分析

    研究提出树视角的 Canopy Entropy (CE*) 指标,指出微调并非单纯降低不确定性,而是重组生成空间。CE* 联合捕获输出长度与序列熵,等于总 Shannon 熵。 控制变量后,微调使熵率与语义多样性的相关性增强近 3 倍。这意味着对齐模型能更高效地将 token 不确定性转化为语义多样性。

  9. arXiv · NLP32

    CoBit:基于比特流扩散的语言建模

    CoBit 是一种连续扩散语言模型,通过联合去噪固定宽度二元令牌代码生成文本,将代码比特分组为单个 Transformer 补丁以保留序列长度。CoBit-S(130M 参数)在 LM1B 和 OpenWebText 上的生成困惑度分别为 59.76 和 27.06;扩展到 462M 参数后,OpenWebText 困惑度降至 19.48。

  10. arXiv · NLP28

    Adamas:基于 Hadamard 稀疏注意力的高效长上下文推理方法

    Adamas 提出一种结合 Hadamard 变换、分桶及 2-bit 压缩的 token 级稀疏注意力机制,用于高效长上下文推理。 该机制通过轻量级距离估计筛选 top-k 候选,在 Llama-3.1-8B-Instruct 有效上下文内保持近无损性能,32K 长度下实现 6.5 倍自注意力加速。 AIME 2024/2025 等长程推理基准测试中,其表现与完整注意力机制相当。

  11. arXiv · NLP21

    BitDecoding-FP4:通过算法系统协同设计实现原生 FP4 KV Cache 解码

    提出 BitDecoding-FP4,实现原生 FP4 KV Cache 解码,Qwen3-4B 等模型在 B300 上吞吐量提升 2.4-3.0 倍。 通过双残差量化、概率缩放及异常值感知量化降低误差,精度保持在 BF16 的 0.5 点以内,支持 Qwen3 等模型及 NVFP4 格式。 代码已开源,适用于稠密与 MoE 模型的长上下文 LLM 服务场景。

  12. arXiv · NLP24

    Laya 非自回归决策模型的选项顺序敏感性测试

    测试显示 Laya 模型在选项顺序变化下改变答案的比例高达 25.8%,其中低置信度区间翻转率显著更高。 针对 951 道验证过的题目进行多种排列测试,发现调整选项顺序可显著影响结果。使用 2,818 行数据微调后,翻转率降至 7.2%,其中打乱顺序策略贡献了 4.2 个百分点的改进。

  13. arXiv · NLP24

    RPEG:可规模化且低成本训练推理语言模型的方法

    论文提出数据为中心的图中间表示 RPEG,用于联合优化推理语言模型(RLM)训练流水线的结构与执行。 RPEG 暴露有界异步、actor-critic 共享等结构选择,并结合阶段融合、细粒度调度和多维模型并行优化,配套分析性能模型。在最多 256 块 GH200 GPU 上,其分布式运行时较 ReaL 提速最高 2 倍、较 verl 降低步延迟最高 2.48 倍,硬件利用率提升最高 30%。

  14. arXiv · NLP21

    PathXAI 通过可迁移组织分割实现证据引导的结构化病理报告生成

    PathXAI 结合组织分割信息与 H&E 图像生成结构化病理报告,其分割组件在内部和外部测试中 Dice 均值超越基线模型。 在 1,200 个公开和 151 个私有病例评估中,PathXAI 与参考诊断的吻合度高于 H&E 对照组,其中 PathXAI-Report 比 Qwen + H&E 的癌症家族匹配率高 4.4 个百分点,发现 F1 值高 5.7 个百分点。

  15. arXiv · NLP29

    多模态LLM图理解失败归因:感知与计数复杂度分离分析

    研究通过区分感知与计数复杂度,揭示多模态LLM在图示任务中失败的根源。针对Gemini等模型,思维链模式下错误率主要受答案数值量级驱动(每十进制数下降2.38倍)。提供代码与转录后,10x10网格计数正确,但单次阅读易漏横向边;结合旋转副本二次读取,大网格精确识别率达86/96。

  16. arXiv · NLP21

    Phantom Consensus: 衡量多智能体 LLM 决策中的社会推理

    研究提出 PHANTOM-Bench 基准,用于测量多智能体 LLM 系统中“幻影共识”现象,即公开决策受模糊社交信号影响而偏离私有判断。 在涵盖九种模型测试中,模糊公开信号导致决策准确率最高下降 47.8 个百分点,集体理性失败率最高达 47.3%。 该研究被 NeurIPS 2026 SocialAgent Workshop 接收,指出评估多智能体系统需区分真实共识与表面共识。

  17. arXiv · NLP40

    RuACT:恢复非活跃评分标准作为自适应批评者与教师

    研究提出RuACT框架,将非活跃评分标准转化为自适应教师或批评者,解决RL中评分标准失效问题。 在Qwen3-4B医疗训练中,非活跃观测占比60.88%;引入框架后,不可达评分标准的无引导恢复率从35.02%提升至42.86%。 代码已开源,该框架在医疗与科学基准测试中全面超越GRPO等基线方法。

  18. arXiv · NLP30

    QGPM:基于查询引导的 RoPE 调制缓解长上下文 LLM 的“中间迷失”现象

    研究提出 QGPM,这是一种无需训练的方法,利用模型自身注意力头的查询相关性重塑 RoPE 位置,以缓解长上下文中的“中间迷失”现象。 QGPM 在低层构建广泛相关性图,高层构建尖锐图;低相关性令牌在快速旋转平面上推进不足一个位置,将相关证据拉向查询,而慢速旋转平面保持原布局。

  19. arXiv · NLP20

    APEX:基于查询自适应意图检测的有效口语理解方法

    论文提出 APEX 框架,通过两阶段检索实现无需微调的口语理解(SLU)。该框架先利用意图原型筛选候选意图,再在选定意图空间内检索上下文示例。 在 SLURP 数据集上,APEX 使 Qwen3 4B 和 Gemma-3-4B 的 EMA 分别提升 4.34 和 3.97 个百分点;高困惑度输入下 EMA 增益为 7.66 和 2.13 个百分点。

  20. arXiv · NLP31

    MARS:无需检索器的多语言搜索智能体训练

    MARS 是一个基于强化学习的多语言搜索智能体,通过直接操作原始语料库实现无检索器的证据获取,并引入语料库原生实体锚定技术。 模型设计了冗余感知的搜索奖励,旨在生成简洁高效的搜索轨迹,避免多语言场景下强化学习的训练坍塌。 实验表明 MARS 在多语言泛化性上优于基线模型,并显著减少了冗余的语料库交互。

  21. arXiv · NLP27

    超越截断:LLM 安全省略生成文本的边界与 ELIDE 方法

    研究证明无训练控制器 ELIDE 可在 670 个公开提示中安全省略生成文本。 在三个模型族上,ELIDE 优于匹配长度的截断,且仅当 NLI 模型判定被省略片段已由已展示文本蕴含时才扣留内容。 在两个新测试中,将许可范围限制在语篇单元可将有害省略比例降至约十分之一。

  22. arXiv · NLP25

    GPT-2 自训练中的有序 Rényi 熵交叉:丰富度不等于均匀度

    递归自训练使英语 GPT-2 词汇量减少但常用虚词主导性降低。在 9 代训练中,随着采样温度升高,最小熵、碰撞熵、Shannon 熵和观察丰富度依次发生从损耗到增益的交叉。第 9 代词汇类型减少 24%,但碰撞熵高出 0.91 bits。研究建议在固定预算下报告熵轮廓及独立质量指标。

11月7日周六
11月6日周五
  1. arXiv · ML20

    随机学习动力学中信息获取的速度限制

    该研究将 SGD 视为马尔可夫随机过程,推导出限制参数获取数据生成参数信息速率的 Fisher 信息流速度限制不等式。 该不等式将信息流上限分解为漂移与噪声贡献,量化了确定性学习力与 SGD 诱导波动的角色。 研究通过解析可处理的基函数线性回归验证了该界限,确认其能复现不同参数编码顺序与特征时间尺度。

  2. arXiv · ML23

    长期时间序列预测中从固定默认值到校准激活策略的研究

    该研究提出一种校准选择策略,通过学习可靠默认值并针对每个任务自适应激活函数及其位置,以提升长期时间序列预测精度。 在基于1,225次Informer训练、覆盖17个数据集变体和51个预测任务的评估中,该策略相比传统固定激活基线平均将均方误差降低7.86%,并在72.55%的任务中取得改进。