重新思考大语言模型剪枝:测试时缩放分析
研究表明,即使经过大量剪枝,部分大语言模型在匹配采样预算下的 pass@k 推理覆盖率仍能达到或超过原始模型,尽管其 pass@1 有所降低。 在严重剪枝下,生成多样化的思维链(CoT)轨迹的同时,重复率增加且生成可靠性下降,导致正确解法更难采样,总 token 使用量可能大幅上升。 该发现强调评估剪枝效果需同时考量模型可解决问题的范围及获取正确解法的采样成本。
研究表明,即使经过大量剪枝,部分大语言模型在匹配采样预算下的 pass@k 推理覆盖率仍能达到或超过原始模型,尽管其 pass@1 有所降低。 在严重剪枝下,生成多样化的思维链(CoT)轨迹的同时,重复率增加且生成可靠性下降,导致正确解法更难采样,总 token 使用量可能大幅上升。 该发现强调评估剪枝效果需同时考量模型可解决问题的范围及获取正确解法的采样成本。
summary_zh: 提出多级推理(MLR)方法,将长CoT重构为高层规划器与低层执行器的两级随机过程,解决长程规划漂移导致的推理失败。 采用轻量级LoRA模块实现高层策略,并引入迭代Step-DPO结合TSMC提供可规模化的逐步监督。
研究通过分解推理阶段发现,独立采样可复现树搜索的候选发现能力,且结构验证从未剔除最后一条正确工作流。主要失效源于多数投票机制,导致10%-19%的任务中已发现的正确工作流未被选中。结果强调应审计实际而非名义推理管道,并分开报告发现、有效性与选择。
MEMENTO 基于 Qwen3-8B 开发,通过微调合成轨迹与强化学习训练上下文压缩,解决代理模型长上下文管理痛点。在 2.5M token 书籍问答测试中,将准确率从 36.9% 提升至 67.8%,上下文占用不超过 20K tokens。其性能超过 GPT-5.5 代理,并以更低成本接近 GLM-5.3 水平。
提出Schrödinger-Föllmer Actor-Critic (SFAC)离线到在线强化学习方法,通过条件扩散实现KL正则化策略改进。 利用最小极大Bellman评论家估计动作价值,并通过Doob h变换将更新表示为参考扩散漂移的修正。 在六个连续控制任务中,经过500K次在线交互后,其最终检查点回报高于行为克隆初始化。
研究建立了未知异质几何下 Transformer 非参数上下文学习的极小极大下界,并构造了匹配上界的 Oracle 切线局部多项式估计器。 该估计器对应于带几何预条件器的两阶段 softmax Transformer,具备对数深度和多项式规模,实现可忽略的近似误差。 相关结果确定了预测器利用局部几何并达到极小极大速率的条件,论文已被 NeurIPS 2026 接收。
现有基于置信度的无验证器测试时扩展(VF-TTS)方法在复杂任务上会崩溃,因其倾向于选择“高置信度但错误”的解。该研究提出 Consilience 框架,通过组合指标主动惩罚高初始置信度并强制要求最终确定性。 在研究生级别数学问题和自由形式代码生成实验表明,Consilience 有效优于现有基线方法,验证了其对完成置信度的新颖视角。
研究表明,使用 MLP 激活值优化上下文学习示例选择效果不佳。 测试 Llama-3.2-3B 和 Qwen2.5-3B 模型发现,激活值与任务表现相关性极低,绝对 Spearman 相关系数最高仅 0.33。 因此不应使用基于此类激活值的采样方法,未来可探索稀疏自编码器方向。
论文建立高斯过程(GPs)与线性扩散模型的显式等价性,将预测采样重构为 ODE,并首次实现基于 LLM 自然语言的条件化。 该机制通过蒙特卡洛近似处理非线性物理等任意点似然评估场景,利用去白化处理不可约非高斯动态,无需专门推导即可生成通用 GP 推理方案。 研究为将现实世界知识作为条件信息纳入概率建模开辟了新前沿。
研究提出基于条件分位数匹配的迁移学习框架,利用异构源域提升数据稀缺目标域的回归预测性能。该方法通过校准生成响应作为伪标签增强目标数据,并推导了经验风险最小化的超额风险界。
研究提出 Random-Features Hopfield 模型,通过随机投影和非线性变换生成模式,利用副本方法推导其相图。 模型揭示了除检索相外,还存在一个新的学习相变,其中投影特征可从模式中无监督推断,而无需显式给定。
提出 GaugeLasso 方法,在训练阶段自适应移除 Transformer 低效用通道以实现结构压缩。 该方法通过加性对称群 lasso 罚项解决规范自由度导致的去稳定问题。
研究提出NashDreamer框架,利用中心化多智能体递归状态空间模型(MARSSM)解决双玩家零和不完全信息博弈。 该架构在五个基准游戏中展现出比无模型基线显著更高的早期训练样本效率。 论文已被NeurIPS 2026接收,并识别出Dreamer系列算法在随机环境中的后验坍塌漏洞。
研究证明在满足混合与稳定性条件下,通过重复改写可使机器生成分布收敛至人类目标分布。 论文推导了显式收敛速率,分析了语义保留与质量约束对速率的影响,并扩展至有限样本以表征所需人类数据与改写轮次的缩放关系。 该工作通过学习人类保留重写核,将分析扩展至非共享参数设定。
研究发现有限差分(FD)在精度上匹配自动微分(AD),且运行速度更快、GPU 内存占用显著降低。 在含样本间依赖的架构中,FD 提供了比标准 PyTorch autograd 更准确的前向近似,误差低一个数量级。 针对特定基准 PDE 问题,提出的随机变体在稳态问题上性能优于 AD。
该研究提出 GRIMIP 框架,将 LLM 的语义推理能力与贝叶斯优化 (BO) 结合,用于混合整数规划 (MIP) 求解器的高维超参数配置。 在包含 MIPLIB 在内的七个基准测试中,GRIMIP 在困难实例上将原对偶积分 (Primal-Dual Integral) 降低超过 40%,性能优于 SMAC 及其他 LLM 辅助 BO 方法。
HERALD 提出首个支持 KV offloading 的块扩散 LLM 动态稀疏注意力方法,解决长上下文推理瓶颈。 该方法利用块内 KV 子集复用特性隐藏检索延迟,在 K=1024 时相比 MAGE 加速 2.59 倍。 显著提升 decode 吞吐量达 8.38 倍,且精度近乎无损。
FuRA 通过全秩 SVD 谱预条件实现高效微调,在同等可训练参数下优于全量微调。 方法采用块张量训练分解,固定预训练 SVD 基以约束更新,在 LLaMA-3-8B 常识推理任务中提升 1.37 分,量化变体 QFuRA 也超越 QLoRA。 代码已开源,适用于大语言模型微调、数学推理强化学习及视觉指令微调。
研究人员建立了 Transformer 在大上下文领域的定量统计理论,提出上下文流映射(CFMs)框架。 该理论证明有限上下文模型近似理想无限上下文系统,偏差界达到 Wasserstein 速率 n^{-1/d} 及参数速率 n^{-1/2}。 分析依赖新的欧拉日共轭损失梯度公式,为前向-共轭系统提供稳定性估计。
DualKV 提出首个消除共享提示复用的 FlashAttention 内核变体,实现与标准注意力数学等价。 在 Qwen3-8B 上支持 8K 上下文和 32 次 rollouts,策略更新提速 1.63-2.09 倍,MFU 从 36% 提升至 76%。 该方案扩展至 30B MoE 模型和 64K 长上下文 Gemma-4-31B,有效解决大 rollout 长上下文训练瓶颈。
Value-Filtered Decoding 通过值基础安全准则过滤 token,减少不必要的干预并提升回复安全性。 该方法提供误干预概率的显式界限,单一阈值超参数控制该界限,在多个数据集上优于现有基线。 实现了安全性、有用性与基础模型相似度之间的更好权衡。
提出在线贝叶斯校准框架 BRPC,通过两阶段滤波解决参数与偏差混淆,并引入重启机制应对突变系统。 理论分析提供了渐进演化下的跟踪误差界及误报检测行为证明,实证结果显示 BRPC 优于现有最先进方法。 该框架适用于数字孪生和计算机实验中具有流式数据、模拟器失配及非平稳性的场景。
稀疏自编码器(SAE)在合成设置中仅恢复9%的真实特征,尽管解释了71%的方差。 在真实激活实验中,随机基线在可解释性(0.87 vs 0.90)、稀疏探针(0.69 vs 0.72)和因果编辑(0.73 vs 0.72)上均匹配全训练SAE表现。 当前SAE无法可靠分解模型内部机制。
基于 PPG 的基准测试表明,PPG 专用时序基础模型整体表现最强,但优势并非普遍存在。 该研究对比了 MOMENT、Chronos-2、GPT-PPG 等 4 类模型,在 51 项任务中发现全模型微调会缩小专用模型优势,且最大模型变体仅在约 1/3 情况下最优。 研究显示 PPG 特定预训练具有任务依赖性,建议在评估时纳入传统 ML 基线作为对照。
研究人员提出一种顺序不变强化学习框架,用于解决黑盒组合优化问题,该方法通过随机采样生成顺序来训练模型。 框架适配了 Group Relative Policy Optimization (GRPO),实现了稳定的策略梯度更新,并在多种基准测试中频繁取得最佳性能。 该方法增强了搜索空间的多样性,避免了传统分布估计算法中学习显式依赖图的开销。
提出端到端自调优图工具包 HGCN(O),通过 T-GCN 架构在节点层处理事件信息、图层处理序列信息,结合超模型优化自动确定模型结构与训练配置。在两个均衡基准上核心 T-GCN 的 F1 分数为 1.0000,在高类别不平衡数据集上加权 F1 为 0.8639,优于 GAT 的 0.8318 和 TransformerConv 的 0.8453。
在高维参数设置下,研究二阶顺序机器遗忘方法的误差累积。分析共轭梯度法作为逆 Hessian-向量积求解器的效率。 理论表明,最多 1/2/2/3 次 Newton-CG 更新即可满足四种认证标准并消除群体风险退化。数值实验显示,相比梯度更新,Newton 结合共轭梯度法在病态问题中计算收益显著。
在物理、医学和计算机视觉的5个基准测试中,异常检测器标记成员作为分类器首先学习的对象。 在3种系统中,确认新类别中排名最高的成员比确认相同数量的随机成员具有更低的识别率。将后续选择交给提升的分类器在2种系统中可以恢复部分损失。
VERS 框架通过编辑自然语言自动编码器的解释来引导推理模型,在 GSM8K 测试集上减少 45.8% 的生成 token,准确率仅下降 0.82 个百分点。 该框架在 MATH-500 上节省 31.3% token,准确率下降 3.05 个百分点;在 Qwen3 235B-A22B 模型上可迁移并节省 30-35% token,但在竞赛题上准确率损失 3-7 个百分点。
Block Diagram Transformer (BDT) 提出了一种在动态图上定义控制基础模型的公式,将响应预测和控制输入生成统一为掩码预测问题。 该模型结合时间轴注意力机制与遵循框图连接的图神经网络,并可用现有时间序列基础模型的预训练参数进行初始化。 在混合多种实验设置的训练下,该模型通过反馈控制稳定了不稳定系统,而微调现有模型难以实现此效果。
通过数据驱动方式同时学习动力学、标称控制器及积分控制障碍函数(ICBF),其中障碍物函数基于可行性而非几何特征训练。 在6D动态自行车敏捷赛车测试中,该滤波器以单CPU核心100Hz以上的频率运行,消除了200个保留布局中全部12个不安全片段,且成功率保持不变。 该方法确保了执行器约束的精确性,即使在模型存在较大误差时仍能保持优势。
谄媚行为在7B及以上参数的模型中表现为残差流中可定位的线性方向,该方向具有因果重要性。 研究基于8个指令微调模型,验证发现低于7B时无可用方向;在Qwen2.5-7B中消融该方向使模型放弃正确答案的比率降低4.8个百分点。 推反证伪了预先预测:7B时反驳破坏正确答案的次数与修复次数持平。
GatedV 提出对值矩阵应用 SiLU 激活的非线性注意力变体,在不增加可训练参数的前提下提升语言建模性能。 2.33M 参数量下平均困惑度从 59.1 降至 57.9,26.16M 参数量下从 20.2 降至 19.7,且所有配对种子均表现更优。 该机制未改动注意力加权结构,在 NVIDIA DGX Spark 上全上下文前向延迟仅增加约 0.7%。
研究指出视频世界模型的预测误差常被误作物理惊讶,实则混杂外观、静态内容及运动等因素。 评估框架在 IntPhys2 基准上分离表征内容,发现 V-JEPA2 仅暴露有限物理可能性信息,且固定误差阈值常错误标记正常事件。
CacheWeave 提出原生块选择器,在 5% 重算预算下平均准确率超 CacheBlend 7.2 个点。 其运行时 CacheWeave-Serve 将单请求 TTFT 最高降低 16.1 倍,负载下 SLO goodput 提升 7.8 倍。 该方案有效缓解了独立编码导致的精度损失,支持混合注意力模型。
... ``` 且规则说“现有卡片和通知应继续按一段摘要显示”是在【摘要答案前置规则】第4点里提到的,但紧接着说“不使用 Markdown 项目符号或分段”是针对“卡片和通知”的显示?
微调后的大模型存在“两跳诅咒”,即无法将新事实与原有知识进行多跳推理。Legible方法通过让桥接短语在中间层匹配模型对新实体的内部表征来解决此问题,无需合成多跳数据。 该方法在Qwen2.5、Llama-3和Qwen3模型上验证了效果,其桥接准确率是CaKE方法的1.8-2.6倍,并在RippleEdits基准上成功破解14B模型的两跳诅咒。
提出基于 GNN 的 Surrogate Model 优化 Clock-Mesh 分析。该模型在 SPICE 数据上训练,平均误差为 3.40 ps 延迟、4.14 ps 上升时间和 4.46 ps 偏移,比现有方法快 18-1706 倍。实际案例显示,该模型可提升 99th-percentile 偏移 49.1%,降低功耗 25.7% 和面积 37.3%。
医学AI若仅向临床流程传递最可能标签而丢弃中间状态概率分布,会低估患者结局风险。 文中通过Jeffrey’s rule of conditioning指出,在胸痛鉴别诊断中,仅报告良性主导标签会显著低估死亡或心脏骤停风险;在BI-RADS示例中,传播的恶性风险超过该类别定义的阈值上限。 该观点要求开发者、监管方和保险公司基于患者结局风险而非单一标签做出临床与保险覆盖决策。
自适应优化器(如 Adam)的固定平均率会改变线性时间差分(TD)估计值,导致策略排序错误且更多数据反而增加误判确信度。 论文提出一种双运行修正法,通过在减半有效增益率下重新拟合,用新拟合值的两倍减去原值消除偏差。 该修正法在纽约出租车和电池充电模型中纠正了几乎所有错误排序,仅在偏差较大时额外增加一次拟合。