RLVR 何时产生真实 Pass@$k$ 交叉:配对推理与马尔可夫核分析
研究通过配对推理和马尔可夫核分析揭示,RLVR 模型在 Pass@$k$ 表现上的交叉现象往往由模型条件分散度(conditional dispersion)导致。
研究通过配对推理和马尔可夫核分析揭示,RLVR 模型在 Pass@$k$ 表现上的交叉现象往往由模型条件分散度(conditional dispersion)导致。
CoPhy 框架通过蒸馏 VLM 知识至 BEV 编码器,以零推理成本保留认知能力,并构建自回归 BEV 世界模型预测未来语义图。 该框架结合 GRPO 优化策略,利用 BEV 滚出产生物理奖励,语言对齐评分器提供认知奖励,确保意图合规。 实验表明 CoPhy 在 NAVSIM v1 和 v2 基准上取得 SOTA 结果,支持通过用户语言指令实现灵活意图控制。
PLDR-LLM 模型训练和推理机制的统一描述中,行图坍缩和重新标准化起到关键作用。 这项研究涉及行中心学习图绝对能量的分解、预测重新标准化以及自主简化过程。 该理论将精确恒等式、条件动力学主张和有限的经验发现区分开来,并提供了证明和紧凑的数值证据。
稀疏自编码器(SAE)在解释模型内部活动时存在混杂因素:若移除概念对输入的影响大于对照编辑,观测到的响应可能源于编辑幅度而非概念本身。 利用脑电(EEG)模型作为受控测试,研究在 27 种模型、数据集及层组合中,发现移除 8--12 Hz alpha 频段对 SAE 响应的影响是 30--34 Hz 对照频段的 7.33 倍。
研究提出在一步生成框架中,利用冻结的自监督学习(SSL)特征并通过Sinkhorn散度计算分布匹配,可在ImageNet上将FID降低39倍。 语义SSL特征通过抑制重建细节,使几何结构更紧凑,从而显著提升了分布匹配的稳定性与生成效果。 该方法已被NeurIPS 2026会议接收,相关代码已公开提供。
研究发现,在开源语言模型中,去嵌入层的最小奇异方向虽使 logits 变化小于随机改变,但其预测变化和下一词损失变化平均却是随机改变的数倍。这些方向承载了模型前几个候选词差异的大部分,距离度量方法因此低估了其重要性。 该结论表明,仅凭距离评估内部表征可能遗漏影响模型预测的关键差异。
TabPFN-3 将表格数据基础模型扩展至支持 100 万行训练数据,推理速度较前代快 20 倍。在 TabArena 基准上,该模型通过单次前向传播超越所有其他模型并占据性能-速度帕累托前沿;其 API 版本 TabPFN-3-Plus 在 100 万行子集上比第二名高 420 Elo,比 AutoGluon 1.5 extreme 快 10 倍。
推荐理由:报告展示了TabPFN-3在100万行数据上的预测能力,并引入测试时计算扩展机制,为表格数据基础模型提供了性能与效率的新基准。
研究提供计算复杂性视角,将机器学习抽象为生成P/poly可计算分布,通过压缩数据移除随机性保留结构。模型无法区分伪随机与真随机,将不可预测部分视为噪声,最佳损失对应数据下一位伪熵。该理论澄清了机器学习在复杂系统中的建模边界。
研究提出 Born Transformer,将注意力建模为 Born 测量,使词贡献积分梯度证据无四舍六入误差,精度达 $10^{-11}$。 在 e-SNLI 任务中,该模型约 98k 参数达到 76.98% 测试准确率,与同规模 Softmax Transformer 相当;其权重可精确编译为光电子光学和量子电路。
研究揭示了few-shot句子分类中上下文学习的电路组成。模型利用标签token位置构建键值记忆,中间层注意力头写入类别键值,上层头部匹配并读出标签。 该机制受早期层重复标签信号门控,独立头抑制最近标签。通过因果激活patching和消融实验验证,此电路在0.6B至8B模型家族中保守且可迁移。
作者构建了经验形成通用数学模型,推导学习曲线形状主要由情境发生分布决定。 均匀分布生成指数曲线,幂律分布生成指数为分布指数与加一后比值之幂律曲线。 研究指出三种不同机制生成的曲线形状无法区分,故观测曲线不能判断学习系统内部结构。
研究展示了利用物理信息机器学习发现的基函数构建 Mori-Zwanzig 降阶模型。 结合涨落-耗散定理闭合非马尔可夫演化方程,并引入互补的生成式闭合模型。两种方法均显著提升了过滤状态预测精度。
针对大语言模型本地部署场景,研究提出名为 Bevy 的新推理系统,通过跨层前瞻的请求调度取代传统的专家预测预取。该方法在请求专家可用时先执行至后续层,再并行获取缺失专家,实现计算与通信重叠。在两个本地测试平台上,其解码吞吐量最高可达其他预取方法的 3.46 倍,且无需额外维护预测模型。
研究证明,在有限 ReLU 网络中,正间距分离等价于存在有限闭合凸覆盖,且仅需要两层隐藏层即可实现。 当类别表示为有限闭合凸集并满足特定几何条件时,两层独立随机 ReLU 层以高概率产生公共正间距仿射分离器,所需网络宽度与球面差锥截面的最大高斯宽度平方成正比。
研究通过比较三组师生模型在缩短长解答时的 LoRA 适配器,发现思维行为关联于特定的更新子空间。 当教师停止思考时,该共享子空间能量降低甚至清空;移除它会显著关闭反思标记等思维特征,验证了其在权重中的定位。
研究将最优控制理论应用于 ResNets 早期退出,证明联合优化下存在转向现象(Turnpike Phenomenon)。 转向现象意味着达到特定损失水平所需的层数上限与网络总深度无关,内部表征呈现跨深度相似性。 该理论解释了过度思考(Overthinking)现象,并为基于 softmax 概率的早期退出准则提供了见解。
针对LLM监督微调(SFT)引发的普遍能力退化(PCD),论文构建了基于特征干扰的几何理论,并提出了AEGIS损失来抑制干扰。 该理论将现有方法统一为六种范式,并证明交叉熵损失无法单独解决PCD。在3个模型族和14个SFT任务上,AEGIS在目标任务和普遍能力上均优于现有方法。 该方案计算成本仅为标准SFT的约1.3倍,具备通用性和机制可解释性,为彻底解决PCD提供了新视角。
论文建立了半线性随机热方程解算子的通用逼近定理,将深度神经算子结果扩展至分布值高斯驱动的SPDEs。 使用光滑傅里叶截止减少驱动项至有限测量,并通过ReLU分支网络近似有限维解映射,为线性方程提供Wiener混沌截断视角。 证明了随机Navier-Stokes方程的高概率局部时间近似定理,具有明确的感知率。
研究者提出 SPFT 方法,通过冻结模型作为先验指导 token 级加权优化。 SPFT 利用贝叶斯分解重新加权静态先验,在数学推理和代码生成实验中优于标准 SFT。
论文提出 DPPG 框架,利用基于 Transformer 的自编码器和条件扩散模型,实现强化学习策略网络参数的生成。 该方法通过 Patchify 参数实现高压缩率,在 Classic Control、Atari 和 MuJoCo 等多领域任务中合成了高性能策略。 在未见过的环境中,DPPG 生成的策略收敛速度更快,展现了参数生成的应用潜力。
研究提出李群指数家族下的变分学习框架,解决深度神经网络变分贝叶斯学习中参数约束和高方差梯度估计难题。 该框架扩展至任意一般李群,并证明了李群算法的线性近似可推广标准自然梯度变分学习方法如BLR。 通过李群表示构造高效可实现的变分学习算法,为深度学习提供系统化新路径。
SKILL2STEER 提出单次遍历超网络,将自然语言技能映射为低秩激活偏移,避免在提示词中保留技能文本。 每个技能编译为 2.36M 参数,比权重空间适配器少 9.25 倍,且基础权重保持冻结。在 SearchQA 上,SKILL2STEER 达到 37.9 的精确匹配率,比冻结模型高 9.8 分。
Qwen3.5-0.8B 配合低秩适配器在 Sketchpad 框架中实现了任意长度算术的精确计算,所有 2,446 个视图测试均通过。该模型在浏览器运行,解决了 200/200 预注册问题及长位数加减乘除运算,表现优于 GPT-6.1 Sol。 代码采用 Apache 2.0 许可证开源,符号运行时支持多项式求解与因式分解,适配器门控可恢复基础模型功能。
LoopKV 通过离线 profiling 优化循环 Transformer 的 KV 缓存精度分配,在 RTX PRO 6000 上服务 Ouro-1.4B 模型。 该方案存储比统一 4-bit 量化减少 35% KV 内存,在 16K token 长度下吞吐量提升 1.7-2.2 倍且精度无明显下降。
研究在NVIDIA B300上评估了加入Llama-3.3-70B等强推理模型后的路由溢价。两个推理模型在MATH-500上准确率达96.1%,超越70B基线的76.2%。
RAPID 提出基于 Johnson-Lindenstrauss 引理的内部蒸馏新方法,消除传统投影矩阵训练开销。 该方法结合 EMA 与同质性不确定性加权,优化多目标损失函数结构。 实验显示在推理后训练中提升效率 21.1%,性能与现有方法相当。
针对网络中基于局部信息的去中心化平均奖励多智能体强化学习(MARL),研究证明仅凭局部信息无法收敛至全局最优联合策略,且去中心化策略优化通常只能保证收敛至平稳点。
研究团队提出在线共形预测框架 GLocalCP,用于归纳节点分类与边预测。该框架结合边际与图局部校准,引入基于 MC dropout 互信息的不确定性自适应非一致性得分。
该研究提出去噪损失关联是 Stein 散度,平均条件噪声视图可精确查询干净分布矩。 在协方差匹配 regime 下,固定分数增益需 O(d^{k*/2} log d) 个干净样本;width-8 网络在 d=64--192 区间展现 d^2 训练集阈值。
提出Embedding Semantic Entropy(Emb-SE),用K-Medoids替代基于NLI的语义聚类以估计LLM不确定性,在TriviaQA等5个数据集上取得具有竞争力的AUROC和AUARC性能。
针对金融 System-1 决策模型,研究发现窄域微调会导致通用决策能力下降 9-45 个百分点。 实验覆盖 K2-Horizon 和 Qwen3.5/3.8 两个模型族,规模从 0.8B 到 32B;在现实标签问题上,所有模型准确率仅在 0.37-0.38 之间,未表现出超越基线的优势。
研究者提出覆盖模型规模、因果图复杂度等六个维度的系统压力测试框架。 测试揭示LLM存在显著“乐观偏见”,高估因果链接导致精准率低,且忽视不确定性会使评测指标产生欺骗性高分。 该工作作为实践指南,明确LLM在因果发现流水线中可靠应用与易误导研究的边界。
研究提出 Mixture of Wide Experts (MoWE) 稀疏前馈层,通过固定不相交输出坐标实现可解释的原生坐标读取,在已知隐藏因子的受控任务中比密集和标准 MoE 模型更清晰定位原因。
研究提出利用 RL 后训练日志概率比推导 LLM 智能体的“进度优势”,实现了无标注、领域无关的步级评分,无需额外训练。 该信号在测试时缩放、不确定性量化和失败归因五个基准上超越基于置信度的基线,表现优于专门训练的过程奖励模型。
提出语言身份注意力头消融法(LIHA),用于定位 Transformer 中维持输出语言的关键注意力头,并验证其跨语言迁移性。 GPT-2 中 L6H1 等“首词广播头”对语言切换率影响显著(切换率 0.32,高出均值 3.23σ),而 Qwen2.5-1.5B-Instruct 的因果影响集中于第 0 层(L0H5 切换率 0.224)。
该研究分析了固定查询和随机长上下文软最大化自注意力的扩展极限。 核心发现显示选择性出现的临界尺度与关键分布局部指数相关,满足 $\beta_n^\ast \asymp n^{2/(d-1)}$ 关系。 在亚临界区域,近似恒等值矩阵下的注意力图近似实现了反向热方程。
summary_zh: 研究团队基于 Mathlib4 真实 PR 历史提出 MathlibPR 基准,用于评估 LLM 辅助形式化推理能力。 DeepSeek、Qwen 等模型与 Codex、Claude Code 等 Agent 在区分可合并与仅构建通过的 PR 时表现不佳,且阶段式评估协议显示 LLM 难以独立判断 PR 是否值得整合。
提出 HISA 层级索引器替代 DeepSeek DSA 中的线性扫描,将搜索路径改写为块级粗筛与 token 级精筛的两阶段流程。该方案为即插即用,无需额外训练,保留了下游 Sparse MLA 的 token 级 top-sparse 模式。
Transformer 在 86M 参数下,正确解法占错误空间概率质量的 59.0%,而成对测试高估了偏好。 模型未过滤一致的虚假规则,且可学习的虚假选择器会降低正确解法的相对占比。
研究采用 DSPy 框架结合 HELM 基准,发现提示选择会显著改变排行榜。 使用 5 种提示方法评估 4 个前沿及 2 个开源大语言模型,结构化提示平均提升性能 6%,5/7 基准排名发生变动。 已开源 DSPy+HELM 评估工具及提示优化流程。