EasyProver 通过递归智能体扩展 Lean 定理证明以验证真实代码
无需额外训练的 EasyProver 在 PutnamBench 上证明 669/672 题,并解决 597/600 NTP4VC 验证条件。 系统引入 Aegis 将竞赛题转为更难任务,生成 2,045 对 Rust-Lean 程序及 11,533 候选规范。 Aegis 任务包含固定宽度算术等实现级义务,可作为奖励强化学习的基准。
无需额外训练的 EasyProver 在 PutnamBench 上证明 669/672 题,并解决 597/600 NTP4VC 验证条件。 系统引入 Aegis 将竞赛题转为更难任务,生成 2,045 对 Rust-Lean 程序及 11,533 候选规范。 Aegis 任务包含固定宽度算术等实现级义务,可作为奖励强化学习的基准。
ATI-OPD 通过修正学生推理前缀以解决长序列在线策略蒸馏中的训练不稳定问题。该方法将早期高分歧片段替换为教师片段,并剔除持续分歧的后缀。在五个数学推理基准测试上,ATI-OPD 的平均准确率优于标准 OPD。
NVIDIA 发布 Nemotron 3.5 Super 和 Nemotron 3.5 Lightning,两款开源高效的混合 Mamba-Transformer 专家模型。Super 是 120B 参数、12B 激活的多模态模型,在 SWE-bench Pro 上得分 51.78%,Lightning 是 30B 参数、3B 激活的文本模型。
研究揭示 Prompt Lottery 现象,即同义改写的评审提示词会导致 LLM-as-a-Judge 评估结果改变,甚至逆转模型排名。LLM 评委对提示词改写的共识度降幅是人类标注员的 6-9 倍,远低于可用性研究接受的阈值。通过多提示词聚合可显著提升评估鲁棒性。
研究人员提出上下文感知推理框架 CARF,通过人类专家对模型生成推理的反馈来适配语言模型,辅助完成综述中题目和摘要的筛选任务。 该框架在全球公共卫生死亡监测领域的“口头尸检”和“死因判定”方法学系统综述上进行了评估,其筛选性能与基准模型具有竞争力,保持了高灵敏度,并倾向于将模糊、依赖上下文的文献保留下来供人工复核。
研究评估了基于提示词的大型语言模型框架在卒中介入报告中提取 8 项临床变量的性能。 涵盖 2,416 份报告,22 个指令微调开源模型经 Quick Response 和 CoT 提示测试,LLaMA3.3-70B 总体准确率最高达 94.8%。 本地部署 LLM 可支持可扩展临床信息提取和回顾性卒中登记库整理,复杂情况需专家监督。
FAD-KV 提出了一种快速自适应字典 KV 缓存框架,旨在通过解决现有方法的解码开销与静态字典失配问题,提升长输出推理效率。 该框架结合基于筛查的稀疏编码(Top-n 选择与系数细化)和固定大小的字典适应机制,通过复用非活跃原子来避免字典无限增长。 在推理和长上下文基准测试中,该方法实现了质量与效率的平衡,确保了内存有界且计算高效。
论文提出 Human-Residual Steering(HRS),通过预测低秩隐状态修正对齐冻结 LLM 评判器。 在 14 个基准测试中,HRS 使用 Qwen2.5-7B 将 Jensen-Shannon 距离从 0.565 降至 0.352,优于所有冻结权重基线。
MDraft 提出一种新的并行生成器蒸馏方法,通过从相同上下文采样多个草稿块并聚合验证器的全词表条件分布,解决了并行生成导致的验证反馈不匹配问题。 该方法仅改变训练过程,保持生成器架构和推理流程不变,可直接替换预检查点使用。 在数学、编码和对话任务上,MDraft 训练的并行生成器比先前蒸馏方法实现了更长的接受草稿长度,提高了推理效率。
研究揭示了大语言模型在缺乏明确赢家时的主观偏好规律。在数字、婴儿姓名和虚构城市三类短文本比较任务中,模型表现出强烈且可复现的偏好倾向。 研究识别了涵盖长度、字母顺序、流行度等 29 个方面,发现提问方式的细微变化可能激活或抑制某些偏好。 该研究发表于 NeurIPS 2026,指出使用模型生成列表并排名的过程中存在意外交互,可能影响其陈述的偏好。
研究显示,在0.9阈值下,英语分类的自动处理覆盖率比另外50种语言平均高出8.6-11.7个百分点。 输入翻译为英语能显著缩小该差距,且重加权准确率也无法消除鸿沟,标准校准指标ECE未能检测到此偏差。 建议报告各语言在操作阈值下的覆盖率。
本文提出 Prompt-TIES 和 Prompt-DARE 两种梯度合并方法,解决指令微调中多提示词改写导致的梯度干扰问题。 基于波茨坦大学 2026 年硕士论文,该方法可使全微调模型的每样本方差近乎减半。 代码与模型检查点已公开,部分成果曾发表于 EMNLP 2026。
该综述系统梳理了推理大语言模型监督微调(SFT)的研究进展。 文章结合方法论与分析两个维度,将 SFT 改进分为以数据为中心和以算法为中心两类,并从数据特性、优化动态和机制洞察三个角度重新组织分析研究,最后展望了未来方向。
提出 Artifact Distillation 方法,教师模型将解题过程外化为工件库供学生模型推理时查询,全程无需梯度更新。 在四个 LiveBench 任务中,Claude Opus 4.5 生成的工件库使 Claude Haiku 4.5 在空间推理上得分 0.707 超过 Claude Sonnet 4.5 的 0.647,且成本仅为后者的 60%。
研究发现,基于稀疏自编码器(SAE)特征的自动可解释性评估存在结构性捷径,无需阅读解释即可实现高分。在 GPT-2 小特征评估中,仅依据中心标记规则即达 0.979 准确率,远超 0.838 的 LLM 评分器。
百灵开源 Ling-3.1-flash-1019 和 Ling-3.1-flash-base,支持 Personal Agent 场景下的长程任务。
提出 c-Rectified flow 框架,建立迭代收敛至最优传输耦合的计算与统计保证。 普通 Rectified flow 在 Gaussian 案例中仅当协方差矩阵可交换时才收敛,c-Rectified flow 在正则性假设下始终收敛。 证明了基于 Hölder 球假设的 minimax 最优 score 估计率,实现维度 $d \ge 3$ 时的最优估计。
研究通过随机矩阵理论推导了线性回归中 CoT 推理深度与泛化误差的精确公式,揭示出指数改进与多项式改进之间的尖锐相变。 该分析表明,在预训练数据和上下文信息充足时,更深的推理最有效;反之,受限的预训练或上下文易导致错误放大或饱和。此结论在 linear 和 softmax attention 模型实验中得到验证。
OneFlowSBI 提出了一种基于掩码流匹配的框架,通过单一网络学习参数与观测的联合分布,实现单模型处理多种查询。利用三元掩码标记坐标状态,该模型在高维图像去噪任务中后验误差低于基线,采样速度远快于 Transformer 通用模型。在 SBIBM 任务的十项测试中,其在最大仿真预算下性能匹配或超越神经后验估计方法。
Unveil 提出一种仅依赖主机侧遥测数据的框架,用于检测和修复大型机器学习负载中的隐性低效问题。它无需应用修改,使用无监督学习模型识别低效,并减少监控开销至 2% 以下。该系统可将吞吐量损失恢复 7%,并将推理延迟降低最多 43.48%。
scTREAT 是首个将状态与药物引导分解的单细胞药物反应预测扩散框架。该模型在 Tahoe-100M 数据集中表现优异,在未见细胞系-药物组合(UC)的 12 项指标中,有 10 项取得最佳值。
Transformer 在单一查询、单头架构中可通过两阶段过程实现从源任务噪声数据到分布外(OOD)任务的认证恢复,并能将值矩阵 A 适配至任意精度 ε。 源阶段训练采用 O(ε^{-d}) 复杂度,而 OOD 阶段仅需微调值矩阵 A,因该子问题为凸优化且参数量呈至多线性 O(ε^{-1}) 扩展,大幅降低了最坏情况下的计算开销。
NAG-GS 是一种基于半隐式 Gauss-Seidel 离散化的随机动量优化器,用于大规模机器学习和优化。 理论上,该方法在强凸二次函数中确定了稳定步长范围,并证明了使用动态阻尼时 $O(1/k)$ 的目标差距界。 实验中,NAG-GS 在 CNN、RoBERTa 和 Vision Transformers 上表现有效,尤其在标准优化器不稳定的学习率下保持性能。
该研究通过108次实验表明,在Warm-start迁移中同时转移注意力/MLP矩阵(B)与表征(E+U),可将早期准确率提升5.46个百分点,并减少617步验证延迟。 冻结载体(E+U)能有效抑制1层模型的grokking后衰退(从22.06%降至0.60%),但Curvature-Preconditioned方法在复杂任务中表现更优,将衰退压缩至0.02%-0.18%。
SoftMCC 是一种无阈值模型选择后训练框架,解决类别不平衡下 MCC 依赖阈值的问题。其核心得分在完美校准时等价于 Brier 技能分数,硬预测下退化为 MCC。实验显示 SoftMCC 稳定性排名最佳(2.31),Kendall W 最高(0.659),显著优于 AUPRC 和 MCC@0.5,但对模型效用的差异不显著。
研究提出全局经验NTK(GeNTK),将其分解为参数交互算子K和状态依赖算子P,揭示了梯度下降中的自指偏置现象。 通过Kronecker核心定理证明K可计算,并在410M参数Pythia模型及RNN中验证,解释了不同初始化导致的收敛差异。 该工作搭建了理论实践桥梁,为研究有限宽度网络几何结构提供原则性框架。
该研究系统分析了 WebGPU 在 LLM 推理中(batch size 1)的调度开销,指出传统基准测试高估了单次操作成本约 20 倍。 在 Vulkan 上内核融合可提升 53% 吞吐量,而 CUDA 融合无益;在 Metal 上不同实现间的性能差距达 2.2 倍。该研究证实了当前调度密集型流水线中,操作开销主导了性能表现,而非内核质量。
该研究建立稀疏注意力与紧致核回归的正式对应,揭示归一化 ReLU 和 Sparsemax 分别源自 Epanechnikov 核在固定和自适应归一化下的推导。
DeepOSets在1D Darcy流问题上比ICON模型在10k训练步数下误差更低,参数仅为ICON的19%。 在100k步数下ICON误差降低26-41%,但训练时间增加约218倍、推理延迟高12倍、参数量多5.3倍。 研究为科学计算中的多算子学习提供了低开销替代方案。
针对图度量空间上的Sobolev IPM问题,提出广义Sobolev IPM(GSI)方法,以克服$L^p$几何结构限制并容纳更广泛的几何先验。 通过建立Orlicz-Sobolev范数与Musielak范数之间的理论联系,实现GSI的高效正则化,使其简化为单变量优化问题。
研究引入基于双树复小波变换的损失函数,用于优化公里级机器天气预报模型。 该损失函数通过联合约束尺度、位置和方向,在FastNet联合全球-区域配置中生成1.5公里英国及31公里全球预报。 相比MSE损失,该方法显著提升频谱保真度,改善邻域验证并生成更锐利的降水场。
研究表明在大型语言模型预训练中进行知识蒸馏时,教师模型不一定要比学生模型强。通过调整语言建模损失和知识蒸馏损失的混合比例,即使较小且训练不足的弱教师也能提升较大学生模型的性能。过强的教师(参数更多或训练更多token)可能导致蒸馏收益饱和甚至逆转,且蒸馏对分布外泛化及下游任务的提升通常优于域内拟合。
研究证明仿射递归网络无法在保持状态表征的同时修正状态分离子空间中的误差,导致其仅学习有限时域的累积错误解而非鲁棒跟踪。 实验表明组状态跟踪任务中可区分性比率跨越可读性阈值时跟踪崩溃,该交叉点可预测下游准确率失效的时域。 该结果确立鲁棒状态跟踪不仅取决于架构表达力,更关键地由误差控制决定,相关论文已被NeurIPS 2026接收。
针对 On-Policy Distillation 中的熵坍缩与负迁移问题,REOPOLD 框架通过放宽均匀信用分配机制,实现了高效推理能力转移。 该框架在多样化推理任务中,将采样 token 的 OPD 样本效率提升至最近基线的 12 倍,并支持跨词汇蒸馏及测试时扩展。
研究提出 PARALLELEVENTS 基准和 SYNAPSE 训练框架,以解决 LLM 静态预训练语料导致的知识过时问题。 PARALLELEVENTS 通过模拟虚构且逼真的未来事件实现可控评估,SYNAPSE 则利用模型生成数据进行指令微调,以 14.23 个百分点的 QA 准确率提升验证了方法的有效性。
研究者提出免训练方法 Causal Attribution Pruning (CAP),通过测量注意力头因果影响指导权重剪枝,在 20% 稀疏度下于 ARC-Challenge 比 Wanda 提升 61% 准确率。
针对快速权重架构中NTP目标与记忆状态演化的不匹配,提出ReFINE方法。 基于预测熵选择位置,生成多token rollout,并使用GRPO优化序列级奖励。 实验显示,ReFINE在LaCT-760M和DeltaNet-1.3B上的长上下文检索及问答任务中优于NTP微调。
无标签可验证奖励强化学习(RLVR)在初始提升推理能力后,最终导致模型自我评估奖励为1但准确率下降,甚至对所有问题给出相同答案的崩溃现象。 这种崩溃仅在训练使用大量问题时出现,源于问题间共享参数导致的集体不稳定性。关键问题数量 Nc 与共享耦合强度 λ 的平方成反比,移除共享方向可完全防止崩溃。
高斯 VAE 中引入输入跳过可在不改变新样本分布的前提下降低重建误差。 通过调整解码器输出与噪声方差,重建均方误差按比例缩小,但能量分数和负对数密度估计可能恶化。 在 DART 数据集上,概率主成分分析(PPCA)的能量分数低于所有神经拟合结果。
分层强化学习框架 NEXUS 将透明推理转移至高层技能而非原子动作,结合神经技能与符号 meta-policies,大幅降低符号复杂性且不牺牲环境性能。 该框架利用以对象为中心的观察,通过与 LLM 交互设计奖励函数和 meta-policies,使智能体学到解耦技能,对目标更具可解释性,且比深度强化学习更不易产生奖励黑客。