如何为单步 MoE 专家剪枝评分:系统化公式与选择原则
针对混合专家(MoE)模型剪枝,研究人员提出基于路由频率、门控权重和激活强度的三因素系统化公式,并给出标准选择原则。 任务无关剪枝应采用路由 token 平均、无门控的激活标准,由此衍生出 MAN 和 MSAN 两个新标准;任务特定剪枝可保留路由频率和门控权重信息。 在 4 个 MoE 模型和 16 个基准测试中,新标准平均提升性能 4.0 分,最高提升 8.8 分。
针对混合专家(MoE)模型剪枝,研究人员提出基于路由频率、门控权重和激活强度的三因素系统化公式,并给出标准选择原则。 任务无关剪枝应采用路由 token 平均、无门控的激活标准,由此衍生出 MAN 和 MSAN 两个新标准;任务特定剪枝可保留路由频率和门控权重信息。 在 4 个 MoE 模型和 16 个基准测试中,新标准平均提升性能 4.0 分,最高提升 8.8 分。
研究者提出 Conveyance 分类方法及其损失函数,旨在利用结构化类别空间中的类间关系,解决标准交叉熵损失缺乏结构感知的问题。该方法允许用户在不定义复杂联合分布的情况下编码类间图状关系,并通过最大化两个独立分区上的边际来保持单调性和部分凸性。 在层级分类、序数回归和多实例学习任务中,Conveyance 的性能匹配或超越了专用基线模型,为结构化类别空间提供了统一的解决方案。
SRaR 提出通过 LLM 裁判分配评分标准至推理步骤,并结合逐步与结果奖励优化模型推理。 该方法是 NeurIPS 2026 论文,使用 16K 问题数据集,在 Qwen3-8B-Non-Thinking 等模型上平均准确率提升 3.57 和 2.75 分,AIME 2025 忠实推理率升至 46.7%。
AIMER 提出了一种免校准的专家剪枝标准,通过捕捉专家权重的集中度模式提升任务通用性。 该方法在 7B 至 47B MoE 模型及 16 个基准测试中表现优于现有免校准方法,甚至优于基于 C4 语料的校准基线。 剪枝全程仅需 0.22–2.06 秒完成所有专家评分,已被 EMNLP 2026 Findings 接收。
离散扩散模型通过利用前瞻规划任务中固有的方向不对称性,在图遍历问题上实现了优于自回归模型的训练效率。 研究发现,前向遍历需要复杂的顺序规划,而反向路径具有确定性,非自回归模型据此习得反向解码模式,将高阶前瞻问题简化为一阶过渡序列。 该机制分析揭示了自回归架构在规划能力上的固有局限,并证实了非自回归建模在此类任务中的优势。
研究指出 GRPO 等组相对方法在奖励后训练中,硬提示正确答案被低权重,易提示错误答案惩罚不足。 作者提出 History-Aware Adaptive Difficulty Weighting(HA-DW)自适应重加权方案,并在五个数学推理基准测试中验证其性能提升。 该方案通过动态难度锚点校正偏差,提升强化学习验证奖励训练的鲁棒性与效率。
研究提出自然语言演员-评论家(NLAC)算法,利用生成式 LLM 作为评论家输出自然语言反馈,而非标量值。 该算法支持离策略训练,无需策略梯度,相比现有方法在推理、网页浏览和工具使用任务中表现更优且更稳定。 NLAC 被证明是一种更可扩展、稳定的 LLM 智能体训练范式。
新模型 MILOP 通过多动作 restless multi-armed bandit 框架协调儿科病房升级决策,相比基线提前发现 87.4% 的危重转运,并减少 13.5% 的监控资源使用。
Slim attention 将使用 MHA 的 transformer 模型上下文内存减半,在大型上下文窗口下推理速度提升最高 2 倍。该方法通过数学等价实现标准注意力机制,无损压缩内存且不损失模型精度。 示例中,Whisper 模型的上下文内存减少 8 倍,batch size 为 64 时 token 生成速度提升 5 倍;T5-11B 模型的内存减少 32 倍。
针对离散 token 推理与连续图像生成间的模态不匹配,提出连续空间潜在推理框架 LARC。采用两阶段训练:课程式 SFT 将 token 级推理转化为潜在推理,信息增益 RL 实现无监督自演化。在 GenEval 基准上比 BAGEL 提升 7%,并展现清晰的测试时扩展行为。
该专著通过定理证明博弈论与强化学习描述同一对象,将游戏在三种意义下定义为马尔可夫决策过程。 涵盖从正常型到演化博弈的标准类别,建立纳什均衡与Bellman算子不动点、Shapley值与信用分配等对应关系。 明确列出独立学习者失效等非对应情形,区分定义恒等、精确还原与结构类比的适用条件。
PEEL 方法在 Matryoshka 检索嵌入中提取本体结构,揭示前缀长度与层级粒度的对齐规律。 该方法仅使用概念词汇表,通过最小生成树解码税务 DAG,在 OLLM 基准上实现高保真结构恢复并迁移至新领域。
在推理阶段剪枝 LLM 的冗余注意力头可显著抑制逐字记忆,无需重新训练或修改数据。在 GPT-2-XL(1.5B) 上剪除 729 个任务冗余头,记忆序列数量降低 91.5%,WikiText-103 困惑度改善 0.92。该发现表明利用注意力头冗余性可在推理时缓解隐私与知识产权泄露风险。
针对 SAO 依赖闭源价值模型的问题,论文提出 Li$^2$SAO,利用组相对优势训练 Actor、组中心回报训练 Critic 进行冷启动引导,随后切换至单轨迹 GAE。 实验显示,该策略使 Li$^2$SAO 在早期训练阶段赶上或超越 GRPO,并提升了后期性能上限,相比仅无价值模型复现的 LiSAO,在智能体任务上表现更优,代码已开源。
论文提出一种通用多任务引理,以任务回归函数及其估计器的几何条件,作为通用多任务场景下快速子空间估计的充分条件。 该引理推导出线性回归与分类在相应机制下的锐极小极大速率,以及对加性噪声回归的与对数因子匹配的速率。 这一成果填补了现有上界技术局限性导致的精确速率认知空白。
CausalXRL提出了一种基于因果图推理的可解释强化学习(XRL)框架,旨在提升智能体决策的可解释性和透明度。该框架通过提供透明、结构化的多层级解释,帮助调试和改进智能体行为。
雅可比微调整体降低了混沌 PDE 神经模拟器的错误放大效应。当错误放大比大于4时,该方法的几何平均错误降低倍数在小模型上达8倍,在33k参数模型上达55倍。匹配模拟器自身错误方向的EDJM方法在28/35种子中优于随机方向,与输入噪声注入表现相当。
语言模型微调后的遗忘无法通过固定词表偏置完全消除,跨14组1B至7B模型测试显示,最大Top-4K偏置恢复率低于10%。 加入温度参数后恢复率最高可达36%,但数学再训练模型恢复效果接近零,随机受损模拟中该修复方案仍仅恢复29%。
该剑桥大学硕士学位论文探讨源任务良好泛化是否必然隐含对相关目标任务的迁移能力。 作者假设答案是否定的,并通过在迁移学习流程中实施三种类型的对抗攻击寻找反例。 实证结果显示,源任务的泛化能力与迁移能力之间存在强相关关系,但结果并未排除源任务泛化作为成功迁移充分条件的可能性。
HiRes 通过分层残差架构解耦 Transformer 的残差宽度与计算宽度,将标准 PreNorm 层分组并由更宽的 PostNorm 外层残差连接。 在 OLMoE-1B-7B 预训练中处理 500B tokens,HiRes 训练损失降低 0.0208,下游准确率提升 1.14 点,FLOPs 效率提升 1.30 倍。
9 款来自 2 家开发者的模型在 3 项分类任务中,开启推理功能提升了模型共识。 要求模型进行更深推理促成了共识,而观察到更长的推理路径则预示预测不一致。
现有 GFlowNet 算法难以发现可解释的生成顺序,新提出的 Learning-Order GFlowNet 无需顺序标注即可学习此类顺序并提升收敛速度。 研究发现梯度信号-噪声比(SNR)可解释顺序涌现机制,较快收敛的生成顺序在相同验证损失下具有更高的 SNR。
FOCUS 结合局部最优传输对齐与短视距可微 actor-critic 学习,解决了仅基于状态演示且缺乏时间对应关系的模仿学习问题。 该方法通过软最佳 $K$ 目标匹配智能体轨迹与专家片段,生成可微模仿奖励,并无需时间对齐轨迹或教师强制。 在包含 152 个肌肉激活的肌肉骨骼人形机器人任务中,FOCUS 在 DFlex 环境中提升了样本效率与训练稳定性。
研究对比了 OLMoE、DeepSeek-V2-Lite 和 Moonlight 模型中无训练专家剪枝的替换算子,发现存活门控缩放是最大影响因子,常规重归一化操作会导致 0.8-8.5 分精度损失。
该研究通过关联私有量化技术,在车辆网络协作路由中实现了通信与隐私的高效平衡。 在参数级隐私预算为 1 时,相比独立量化,关联私有量化将平均旅行时间降低了 14.3%。 结合后量子认证通信,单次上传的认证上行链路大小减少了 92.4%,每轮平均聚合的已验证更新数从 19.6 提升至 26.5。
该研究通过随机最优控制理论,解释了 Transformer 架构为何能成功预测非马尔可夫数据。 作者构建了深度为 M+1 的 Transformer 模型,证明了在平稳遍历或滤波稳定条件下,随着上下文长度增加,预测误差可无限趋近于零。
提出密度引导自举边界机制,利用分数感知相对密度代理自适应调整想象回报深度,解决固定想象时长的模型误差累积问题。 该机制包含硬/软边界两种门控变体,独立于具体动力学模型并应用于Dreamer V3。理论证明门控Bellman算子为严格压缩映射。实验显示其在连续控制任务和Atari Pong上提升了样本效率和后期训练性能。
Walrus-1.3B 科学基础模型在 Sim-to-Real 适应过程中遭受灾难性遗忘。在模拟数据微调后,原始预训练数据集上的单步误差在 20 个 epoch 后增加高达 35 倍。 回放 1% 模拟数据可恢复大部分性能并保留对实验数据的适应效果。该研究确立了灾难性遗忘为科学基础模型 Sim-to-Real 适应的实用障碍,轻量级回放策略能显著改善知识保持。
离线强化学习算法 ReBRAC-v2 在 OGBench 10 个常用类别中平均得分 74.8,超过次优方法的 52.3,并在其中 8 类排名第一。该模型基于精确似然归一化流 actor 和行为正则化构建,无需结构改动即在 D4RL AntMaze 达到 90.2 分。作者完成了原始 OGBench 全部 235 个单任务问题的完整评测,确立了其作为未来研究的参考基线地位。
论文提出多芯片let内存中心架构 AMMA,专攻低延迟长上下文 LLM 注意力服务,面向 1M token 场景优化。 AMMA 用 HBM-PNM 堆替代 GPU 计算 die,配合逻辑 die 微架构与两级混合并行,显著提升注意力推理带宽效率。 相比 NVIDIA H100,AMMA 注意力延迟降低 15.5 倍,能耗降低 6.9 倍,论文已被 MICRO 2026 录用。
研究基于918项评估提出JudgeGPT和RogueGPT框架,发现政治倾向与检测表现关联微弱(r=-0.10),而“假新闻熟悉度”是候选中介变量(r=0.35)。GPT-4因流畅度陷阱(HumanMachineScore: 0.20)绕过来源监控,使得其输出与人类文本难以区分。建议“预澄清”干预应针对认知来源监控,而非人口统计细分。
AnytimeReasoner 框架通过截断思维过程并生成摘要来引入可验证密集奖励,优化任意 token 预算下的推理效率。 该方法解耦优化思维与摘要策略,并引入 Budget Relative Policy Optimization (BRPO) 技术以增强强化学习鲁棒性。 在数学推理任务中,该框架在所有思维预算下均优于 GRPO,显著提升训练与 token 效率。
LazyAgent 提出首个代理运行时按需执行完整方案,通过仅在请求需要时运行步骤避免冗余计算。 在 303 个请求的生产工作流中,该方案节省 62.2% CPU 及 51.7% 容器时间,且在 DataSciBench 上减少 12.8% Token 消耗。 研究指出公开基准无法体现此效率差异,呼吁行业构建衡量代理工作流执行效率的新标准。
提出包含四个系数的逐Token门控参数化方法,统一了EOPD和ToDi的单一信号限制。 使用Qwen3-32B教师模型和Qwen3-4B学生模型在TweetEval数据集上进行验证。 该参数化体系主要用于比较在线策略蒸馏中短文本分类任务的门控设计。
该研究提出 TCFT 框架,通过监督微调训练模型识别时间泄露,解决 LLM 在前瞻性推理中违规使用截止时间后知识的问题。 实验显示 TCFT 优于提示工程和 SFT 基线,在 Qwen2.5-7B 和 14B 模型上分别平均减少 41.89 和 37.79 个百分点的时间泄露。
ThinkSafe 提出无外部教师的安全对齐方法,在 DeepSeek-R1-Distill 和 Qwen3 上实现安全性提升。 在 Qwen3-0.6B 模型上,该方法以 GRPO 约七分之一的耗时达到相当的安全性和推理性能。 代码、模型及数据集已开源,该方法被收录于 NeurIPS 2026。
RoboArchitect 自动化设计冻结策略外的 agent harness,在未见场景中将从 9.7% 提升至 43.3% 成功率,未见任务中从 12.7% 提升至 40.2%。 该系统让编码模型通过观察 rollout 和诊断失败来迭代优化 harness,无需更新任何模型权重即可生成持久记忆与直觉控制策略,如避开障碍的横向抓取。
提出 CRoS 指标,通过乱序推理步骤而非篡改内容来扰动 CoT,消除信息改变的混杂效应。 在 Reasoning Gym 使用 Gemma-3-4B 测试,CRoS 在 5 个未见数据集准确率达 46.8%,CoT 忠实度得分 34.0%,均优于最强基线。
研究对比循环模型与无循环基线,指出其仅在 0.8B 小模型上胜出资本效率。 实验覆盖 Qwen3 和 Qwen3.5 系列 0.8B 至 9B 参数,发现 4B 和 9B 模型中循环版本未超过同参数量无循环模型。 表明预训练后添加循环仅对固定参数预算的小模型具有成本效益。
针对 LLM 引导的符号回归在外推时标准预测区间失效问题,LLM-SR-UQ 框架通过量化候选方程间的结构分歧来改善覆盖。 LLM-SR-UQ 扩展了固定宽度共形方法,通过保留竞争方程结构并测量其分歧,显著提升了模型的外推覆盖率,同时保持分布内覆盖率。