跳到正文
10月30日周五
  1. arXiv · NLP27

    CARF:面向科学证据筛查的上下文感知推理监督框架

    研究人员提出上下文感知推理框架 CARF,通过人类专家对模型生成推理的反馈来适配语言模型,辅助完成综述中题目和摘要的筛选任务。 该框架在全球公共卫生死亡监测领域的“口头尸检”和“死因判定”方法学系统综述上进行了评估,其筛选性能与基准模型具有竞争力,保持了高灵敏度,并倾向于将模糊、依赖上下文的文献保留下来供人工复核。

  2. arXiv · NLP34

    LLM 用于精准医疗图表摘要:在卒中领域实现可扩展且安全的 AI 部署

    研究评估了基于提示词的大型语言模型框架在卒中介入报告中提取 8 项临床变量的性能。 涵盖 2,416 份报告,22 个指令微调开源模型经 Quick Response 和 CoT 提示测试,LLaMA3.3-70B 总体准确率最高达 94.8%。 本地部署 LLM 可支持可扩展临床信息提取和回顾性卒中登记库整理,复杂情况需专家监督。

  3. arXiv · NLP21

    FAD-KV:面向高效推理解码的自适应字典 KV 缓存

    FAD-KV 提出了一种快速自适应字典 KV 缓存框架,旨在通过解决现有方法的解码开销与静态字典失配问题,提升长输出推理效率。 该框架结合基于筛查的稀疏编码(Top-n 选择与系数细化)和固定大小的字典适应机制,通过复用非活跃原子来避免字典无限增长。 在推理和长上下文基准测试中,该方法实现了质量与效率的平衡,确保了内存有界且计算高效。

  4. arXiv · NLP20

    MDraft 通过多草稿策略提升扩散生成器在推测解码中的接受长度

    MDraft 提出一种新的并行生成器蒸馏方法,通过从相同上下文采样多个草稿块并聚合验证器的全词表条件分布,解决了并行生成导致的验证反馈不匹配问题。 该方法仅改变训练过程,保持生成器架构和推理流程不变,可直接替换预检查点使用。 在数学、编码和对话任务上,MDraft 训练的并行生成器比先前蒸馏方法实现了更长的接受草稿长度,提高了推理效率。

  5. arXiv · NLP35

    大语言模型主观偏好中的规律性:“Bouba”胜“Kiki”及其他现象

    研究揭示了大语言模型在缺乏明确赢家时的主观偏好规律。在数字、婴儿姓名和虚构城市三类短文本比较任务中,模型表现出强烈且可复现的偏好倾向。 研究识别了涵盖长度、字母顺序、流行度等 29 个方面,发现提问方式的细微变化可能激活或抑制某些偏好。 该研究发表于 NeurIPS 2026,指出使用模型生成列表并排名的过程中存在意外交互,可能影响其陈述的偏好。

  6. arXiv · NLP25

    大语言模型推理监督微调综述

    该综述系统梳理了推理大语言模型监督微调(SFT)的研究进展。 文章结合方法论与分析两个维度,将 SFT 改进分为以数据为中心和以算法为中心两类,并从数据特性、优化动态和机制洞察三个角度重新组织分析研究,最后展望了未来方向。

10月28日周三
  1. arXiv · ML25

    c-Rectified flow 的计算与统计保证

    提出 c-Rectified flow 框架,建立迭代收敛至最优传输耦合的计算与统计保证。 普通 Rectified flow 在 Gaussian 案例中仅当协方差矩阵可交换时才收敛,c-Rectified flow 在正则性假设下始终收敛。 证明了基于 Hölder 球假设的 minimax 最优 score 估计率,实现维度 $d \ge 3$ 时的最优估计。

  2. arXiv · ML30

    In-Context Learning 中 Chain-of-Thought 的渐近理论

    研究通过随机矩阵理论推导了线性回归中 CoT 推理深度与泛化误差的精确公式,揭示出指数改进与多项式改进之间的尖锐相变。 该分析表明,在预训练数据和上下文信息充足时,更深的推理最有效;反之,受限的预训练或上下文易导致错误放大或饱和。此结论在 linear 和 softmax attention 模型实验中得到验证。

  3. arXiv · ML34

    OneFlowSBI:用于基于仿真推断的单一模型多查询框架

    OneFlowSBI 提出了一种基于掩码流匹配的框架,通过单一网络学习参数与观测的联合分布,实现单模型处理多种查询。利用三元掩码标记坐标状态,该模型在高维图像去噪任务中后验误差低于基线,采样速度远快于 Transformer 通用模型。在 SBIBM 任务的十项测试中,其在最大仿真预算下性能匹配或超越神经后验估计方法。

  4. arXiv · ML20

    Transformer 在结构化任务偏移下的线性成本微调:基于认证恢复的研究

    Transformer 在单一查询、单头架构中可通过两阶段过程实现从源任务噪声数据到分布外(OOD)任务的认证恢复,并能将值矩阵 A 适配至任意精度 ε。 源阶段训练采用 O(ε^{-d}) 复杂度,而 OOD 阶段仅需微调值矩阵 A,因该子问题为凸优化且参数量呈至多线性 O(ε^{-1}) 扩展,大幅降低了最坏情况下的计算开销。

  5. arXiv · ML23

    NAG-GS:一种具有大步骤稳定性的半隐式随机优化器

    NAG-GS 是一种基于半隐式 Gauss-Seidel 离散化的随机动量优化器,用于大规模机器学习和优化。 理论上,该方法在强凸二次函数中确定了稳定步长范围,并证明了使用动态阻尼时 $O(1/k)$ 的目标差距界。 实验中,NAG-GS 在 CNN、RoBERTa 和 Vision Transformers 上表现有效,尤其在标准优化器不稳定的学习率下保持性能。

  6. arXiv · ML20

    Grokking中的架构接口、等参扩展与预条件器驱动的整合研究

    该研究通过108次实验表明,在Warm-start迁移中同时转移注意力/MLP矩阵(B)与表征(E+U),可将早期准确率提升5.46个百分点,并减少617步验证延迟。 冻结载体(E+U)能有效抑制1层模型的grokking后衰退(从22.06%降至0.60%),但Curvature-Preconditioned方法在复杂任务中表现更优,将衰退压缩至0.02%-0.18%。

  7. arXiv · ML26

    SoftMCC: 用于类别不平衡下无阈值模型选择的 MCC-Brier 校准桥接框架

    SoftMCC 是一种无阈值模型选择后训练框架,解决类别不平衡下 MCC 依赖阈值的问题。其核心得分在完美校准时等价于 Brier 技能分数,硬预测下退化为 MCC。实验显示 SoftMCC 稳定性排名最佳(2.31),Kendall W 最高(0.659),显著优于 AUPRC 和 MCC@0.5,但对模型效用的差异不显著。

  8. arXiv · ML23

    全球经验NTK:梯度下降学习的自指偏置与维度

    研究提出全局经验NTK(GeNTK),将其分解为参数交互算子K和状态依赖算子P,揭示了梯度下降中的自指偏置现象。 通过Kronecker核心定理证明K可计算,并在410M参数Pythia模型及RNN中验证,解释了不同初始化导致的收敛差异。 该工作搭建了理论实践桥梁,为研究有限宽度网络几何结构提供原则性框架。

  9. arXiv · ML28

    WebGPU 在 LLM 推理中的调度开销:跨四家 GPU 厂商、三种后端及三种浏览器的系统研究

    该研究系统分析了 WebGPU 在 LLM 推理中(batch size 1)的调度开销,指出传统基准测试高估了单次操作成本约 20 倍。 在 Vulkan 上内核融合可提升 53% 吞吐量,而 CUDA 融合无益;在 Metal 上不同实现间的性能差距达 2.2 倍。该研究证实了当前调度密集型流水线中,操作开销主导了性能表现,而非内核质量。

  10. arXiv · NLP42

    LLM 预训练中的知识蒸馏:强教师并非必需

    研究表明在大型语言模型预训练中进行知识蒸馏时,教师模型不一定要比学生模型强。通过调整语言建模损失和知识蒸馏损失的混合比例,即使较小且训练不足的弱教师也能提升较大学生模型的性能。过强的教师(参数更多或训练更多token)可能导致蒸馏收益饱和甚至逆转,且蒸馏对分布外泛化及下游任务的提升通常优于域内拟合。

  11. arXiv · NLP29

    递归模型中的状态跟踪重新思考:基于误差控制动力学

    研究证明仿射递归网络无法在保持状态表征的同时修正状态分离子空间中的误差,导致其仅学习有限时域的累积错误解而非鲁棒跟踪。 实验表明组状态跟踪任务中可区分性比率跨越可读性阈值时跟踪崩溃,该交叉点可预测下游准确率失效的时域。 该结果确立鲁棒状态跟踪不仅取决于架构表达力,更关键地由误差控制决定,相关论文已被NeurIPS 2026接收。

  12. arXiv · ML38

    自增强集体动力学:跨任务耦合如何驱动无监督 RLVR 中的策略崩溃

    无标签可验证奖励强化学习(RLVR)在初始提升推理能力后,最终导致模型自我评估奖励为1但准确率下降,甚至对所有问题给出相同答案的崩溃现象。 这种崩溃仅在训练使用大量问题时出现,源于问题间共享参数导致的集体不稳定性。关键问题数量 Nc 与共享耦合强度 λ 的平方成反比,移除共享方向可完全防止崩溃。

  13. arXiv · ML22

    输入跳过可重参数化 VAE 但不改善生成器

    高斯 VAE 中引入输入跳过可在不改变新样本分布的前提下降低重建误差。 通过调整解码器输出与噪声方差,重建均方误差按比例缩小,但能量分数和负对数密度估计可能恶化。 在 DART 数据集上,概率主成分分析(PPCA)的能量分数低于所有神经拟合结果。

  14. arXiv · ML28

    NEXUS:可解释的神经符号分层强化学习框架

    分层强化学习框架 NEXUS 将透明推理转移至高层技能而非原子动作,结合神经技能与符号 meta-policies,大幅降低符号复杂性且不牺牲环境性能。 该框架利用以对象为中心的观察,通过与 LLM 交互设计奖励函数和 meta-policies,使智能体学到解耦技能,对目标更具可解释性,且比深度强化学习更不易产生奖励黑客。