CRISP:面向边缘服务器高效 MoE 推理的剪枝与调度协同设计
CRISP 框架通过协同设计剪枝和运行时调度,在记忆受限的边缘平台上提升 MoE 推理效率。 该框架利用专家组合的频率偏差和不对称性,按重要性重排神经元,并对热点、温点和冷点组合执行差异化调度,实现专家加载与计算重叠。 在 Mixtral-8x7B 和 DeepSeek-MoE-16B 上,相同内存预算下吞吐量提升最高达 2.1 倍,精度损失控制在 3.6% 以内。
CRISP 框架通过协同设计剪枝和运行时调度,在记忆受限的边缘平台上提升 MoE 推理效率。 该框架利用专家组合的频率偏差和不对称性,按重要性重排神经元,并对热点、温点和冷点组合执行差异化调度,实现专家加载与计算重叠。 在 Mixtral-8x7B 和 DeepSeek-MoE-16B 上,相同内存预算下吞吐量提升最高达 2.1 倍,精度损失控制在 3.6% 以内。
论文提出 LinMix,通过顶点采样替代传统的 Dirichlet 采样,以线性模型计算领域归因并确定最优数据混合权重。 在 1B 参数的 OLMo2 和 4B 参数的 Qwen3.5 预训练实验中,LinMix 在 MBPP 上相对提升 46%,在 GSM8K 上提升 14%,且在 288 个细粒度领域下平均准确率提升 11%。
基于 GPT-2 的剪枝研究表明,magnitude 神经元剪枝在 30% 稀疏度下会导致 Name Mover 贡献符号反转,使模型准确率降至 17.7%。 该失效在 perplexity 指标上被误判为损伤较轻(74.6 vs 140.1),显示输出指标无法捕捉结构性机制损伤,需引入电路级因果分析作为补充评估。
DPO在NTK线性化下的优化动态显示隐式最大间隔偏置,提出“双重稀疏”概念,DPO更新方向是支持向量驱动的数据级稀疏与梯度抵消产生的参数级稀疏线性组合。
PRISM-BENCH 基准涵盖 1000 个专家精选问题,感知探针显示前沿模型约 85% 的失败源于感知错误。 涵盖 25 个系统(含 GPT-5 和 Claude Opus 4.6),最佳准确率 66.0%,较人类基线低 18.4 分。 CORE 指标在效率感知下重新排序 24.2% 的模型对,且与响应长度无关。
研究证明自回归线性阈值函数在 $T\ge d^2$ 时的 VC 维度为 $\Theta(d^2)$,解决了一阶计数上界 $O(d^2)$ 的差距。 将线性阈值函数的符号替换为逻辑采样后,确定性模型与随机模型出现指数级分离,最终多数预测类的 VC 维度从二次增长提升至 $d$ 的指数级。 该结果揭示了随机性在增强自回归模型表达能力方面的关键作用。
BrailleBench 基准包含 259 张真实世界一级和二级盲文图像,通用视觉语言模型直接转写表现差,而工具辅助系统表现更好。 基于 2B VLM 在合成盲文数据上训练后,在一级盲文上达到 87% 精确匹配,在二级盲文上达到 61% 精确匹配,优于独立运行的 VLM。 结果表明合成数据监督可改进真实场景下的盲文转写,但在合成验证集上高达 96% 准确率并不保证在真实照片上表现良好。
提出 HiLo-RD 以改进受限生成预算下的掩码扩散语言模型,通过跨预算自蒸馏解决预算引发的过早承诺问题。 方法将大窗口教师状态与裁剪的小窗口视图配对,匹配已提交位置的隐藏表示,无需外部教师即可指导 token 预测与提交顺序。 在 GSM8K 上准确率提升 9.4 个百分点,平均可读长度缩短约 25%,且在无代码领域训练情况下优势延伸至代码生成。
提出双分支进化框架 HPNAS-RL,同步执行强化学习的神经网络架构搜索(NAS)与超参数优化(HPO),适用于自动驾驶任务。 框架并行演化离散网络架构与连续超参数,结合并行评估与师生策略迁移机制以加速收敛。 实验显示该联合框架在奖励、参数量与稳定性上持续优于独立 NAS。
TALOR 是一种轻量级、无反向传播的纠偏模块,用于开集测试时自适应,以源线性头为几何锚点。 该模块将特征分解为主坐标和尾坐标,利用加权岭回归在主要子空间中估计软路由仿射校正,并减去漂移估计。 在 ImageNet-C 基准上,TALOR 比 UniEnt 高出 2.2% H-score,运行速度快 2.5 倍,且仅使用其 12% 的 GPU 内存。
新提出的元认知控制器通过动态调整扩散语言模型的计算分配与生成长度,将推理 FLOPs 平均降低 20.6%,同时保持具有竞争力的任务准确率。 该轻量级插件在智能体轨迹上训练,在五个基准测试中验证了其平衡正确性与生成成本的有效性,消融研究进一步支持了该方法的有效。
利用大型语言模型生成的系数先验替代传统零收缩目标,能改善分布外(OOD)表格数据预测,在五个数据集中四个实现平均 MSE 最高 7.9% 的改进。 跨源域交叉验证仅用于筛选先验,结果表明该策略能规避表现最差的先验,但当训练数据量足够大时,先验更主要起正则化而非转移修正作用。
研究发现在直至 787M 参数量级的 LLM 预训练中,始终观察到导致二次近似发散但真实动态稳定的“凸性边缘”(EoC)现象。 在移除学习率无关的不稳定性影响后,研究提出了适用于随机训练与自适应优化器的“边缘稳定性”(EoS)广义定义。 实验表明 EoS 普遍存在但并非绝对,当学习率充分减小(如衰减后)或批量大小低于与临界批量大小正相关的阈值时,EoS 会消失。
GPT-2 蒸馏至 DistilGPT-2 后,IOI 电路发生机制性崩溃,准确率从 94.8% 降至 35.2%;而 GT 电路通过层重映射保留了 87.7% 性能。
在201次评估中,决策一致性框架(DCF)的一致性分数(CS)在检测干净数据误分类方面,始终不如最大Softmax概率(MSP)。 对于冻结CNN,CS的AUROC比MSP低0.057(95% CI 0.043-0.073),但计算成本是8到15倍。 在CIFAR-10-C噪声破坏和投影梯度攻击下,CS优于MSP,在2/255预算下以0.83的AUROC区分干净与被攻击输入。
summary_zh: 提出层级低秩重参数化方法,通过低秩分解递归压缩 PEFT 可训练参数。 该方法结合 LoRA、DoRA 等方法,在 LLaMA-3.1-8B 等模型上验证,参数压缩约十倍仍保持竞争力。
针对生成式推荐中统一 SID 长度导致热门与长尾项编码效率失衡的问题,JevRec 提出变长语言编码,通过共享 codebook 生成较短 SID 给热门项、更丰富描述给长尾项。模型引入类 Jevons 决策建模组件,使用独立头分别预测长度分布和生成内容,缓解优化冲突,并在三个公开数据集上超越所有基线。
递归知识改进(RKI)方法将知识改进建模为序贯的状态感知干预过程,在 HotpotEval 和 SafeInternalEval 上平均优于现有方法 18.41 分。 该方法将知识组织为图结构化单元,通过定位弱点、估计运行知识状态并选择对应干预来解决知识状态混叠问题。 现有诊断分辨率仅定位弱点不足以选择干预,RKI 通过跨轮次重评估实现状态感知更新。
DocSkill 是结合技能编排策略的智能体框架,基于 Qwen3-VL-8B 在 MMHop-DocBench 上准确率 41.0、F1 达 49.2。 利用有界 MCTS 生成轨迹进行 SFT 和 DPO 优化,该基准包含 10 种语言、8 个文档领域的 60K 问答对。 相比最强基线提升 5.5 点准确率和 6.3 点 F1。
提出CAMR自适应框架,在Qwen3-8B-Base上通过联合控制当前样本监督与历史重放实现持续学习。在WikiBigEdit 3K事实更新后达成93.66% Original Match,并在TRACE四项任务中取得最高最终分数,优于全历史重放方法。
提出受控证据聚合(CEA)与平衡效用因果选择(BUC)方法,定位影响 Transformer 决策的注意力头。 在 Pythia-410M 模型中,消融 1-12 个头可移除 65.5-91.6% 的计数效应;在自然语言任务中,消融 8 个头导致准确率下降 8.2 个百分点。 研究证实受控符号探针能识别出对自然语言决策具有因果影响的紧凑注意力头集合。
CONCUR 提出了一种优势估计器,通过约束辅助奖励分数解决 LLM 多任务强化学习中辅助奖励逆转主奖励排序的问题。 该模型在数学、代码等四个领域测试中,性能均优于所有基线及移除辅助奖励的方案。
AK_QMUL 团队在 ArGuard-2026 共享任务中表现优异,其微调后的 JAIS-6.7B 模型在 B1 和 B2 赛道均获第一名。 该模型采用 4-bit QLoRA 微调,B1 任务宏平均 F1 为 0.984,B2 任务为 0.790。
该研究审计了开源模型 Laya 与 Jev 1.13 在 190 次可交换评估中的置信度表现,发现点估计阈值在 147 次评估中未能兑现准确性承诺,而 Learn then Test 规则在所有评估中均保持该承诺。
研究基于 ModernBERT 架构在 9B tokens 开放数据上训练了 12M 至 1B 参数规模的冰岛语编码器。1B 模型在全部 11 项评测任务上显著优于 IceBERT,同等参数下性能最佳。
信息瓶颈求解器可分解为独立于 $\beta$ 的表征方向 $W$ 和标量增益 $D(\beta)$,即表征与速率控制分离。
一项对18个开源权重模型的研究表明,指令微调使模型分配给整数的概率分布变得不那么均匀。 微调模型几乎完全避免了10的倍数,且极少返回端点值1和N,而基座模型则不具备这些特征。 这些数字选择规律与Kubovy和Psotka提出的人类心理账户理论相符,其中包含端点避免和奇数偏好。
研究提出“指令容量”度量模型指令遵循极限,GPT-4o mini 在 95% 正确率下容量为 37-38 条规则,全密度下降至 18-19 条。 通过 642,430 次试验构建统计模型,量化规则数量、密度等负载因素对替换成功率的影响,并公开了测量代码与数据。 该“护照”数据可作为未来评估 Prompt 指令负载的校准基准。
该研究利用捕食者-猎物模型分析机器学习泛化现象,并从生物与化学视角阐释随机梯度朗之万动力学及生成对抗网络。 针对从噪声数据中恢复未知固定次数多项式的具体示例,模型相比梯度下降法提供了更优的近似效果。 文中还运用热力学论据,特别是 Eyring 公式,解释了机器学习中的“顿悟”(延迟泛化)现象。
研究提出简洁框架h1,通过高效Lean 4接口在形式定理证明中验证“苦涩教训”,即在匹配模型下,单次尝试(pass@1)即可媲美或超越Goedel-Architect等专业工作流。h1在PutnamBench等基准达到SOTA,并解决了8个开放问题,表明高效执行反馈比复杂工作流更关键。
论文提出通信高效的分布式推测解码框架 DISCO,消除词表级分布传输开销。 服务器端引入草稿 SLM 副本以本地获取拒绝采样分布,仅交换 token 索引和标量概率。 在多个数据集上 DISCO 解码加速优于现有方法,尤其在低带宽环境下表现更优。
KORA 架构通过先尝试确定性路由来避免不必要的模型推理,在 100 项任务的基准测试中成功避免了 80 次模拟模型调用。 该方法在确定性子集测试中实现零不匹配,并通过遥测记录验证路由结果,仅当确定性处理不足时才升级至模型路径。 此工作证明了在特定文档化负载下减少模型调用的潜力,但并未确立生产环境下的实际表现或成本优势。
研究引入PropMe框架评估大语言模型(LLM)的非对抗性记忆倾向,对比前缀攻击与无提示生成的数据复现能力。实验覆盖Comma、DFM Decoder和OLMo3 32B模型,使用SimpleTrace工具验证生成内容与训练语料的匹配度。
StreamMA 提出一种多智能体推理系统,将推理步骤即时流式传输至下游,实现流水线并行以显著降低端到端延迟。该方法在八个基准测试中优于串行和单智能体基线,平均提升 7.3 个百分点,HMMT2026 上最高提升 22.4 个百分点。实验显示,步骤级缩放定律能同时提升推理有效性与效率,成为与智能体数量缩放正交的新维度。
提出后验优先神经 PDE 模拟范式,在单一观察场场景下,通过推断下游任务所需最小问题状态后验来改善可靠 roll-out。在 PDEBench 隐藏元数据任务中,池化 roll-out nRMSE 从 0.175 降至 0.132,闭合直接到 oracle 差距的 59.4%。该结果被接受于 NeurIPS 2026。
提出 LFPO 框架解决 dLLMs 强化学习难问题,通过离散速度对齐实现稳定低方差更新。 该框架直接优化去噪 logits,从中间状态预测终端解以拉直生成轨迹,减少去噪迭代。 在推理和编码基准测试中,LFPO 准确率持平或超越似然基线并显著加速推理。
针对扩散和流模型强化微调中策略坍缩为狄拉克δ分布的问题,提出DRIFT框架以激励输出多样性。 该框架通过采样过滤奖励异常值、提示词随机变化及组内多样性奖励重塑三个层面解决问题。 实验显示DRIFT在保持对齐度时多样性提升3.88%–81.42%,代码已开源。
TS-DP 是首个将投机解码应用于扩散策略(DP)的框架,解决了 DP 在具身控制中因迭代去噪导致的高推理延迟问题。 该框架通过蒸馏基于 Transformer 的草稿模型替代高成本去噪调用,并利用基于强化学习的调度器动态调整参数以适应任务难度变化。 在模拟环境中实现 4.17 倍 NFE 降低和 3.2 倍加速,真机实验中推理频率达 26 Hz,传送带任务成功率提升 23%。
研究提出一种轻量级频率概率排序器(FBPR),在 MedQA 临床诊断基准上,其性能与 GPT 等大语言模型相当。 FBPR 使用来自 Dolma 和 RedPajama 语料的共现统计,通过平滑朴素贝叶斯评分选项。 FBPR 与 LLM 直接推理具有互补性,结合两种方法的混合策略能带来显著提升。
该论文将多路径大语言模型推理形式化为无线通信中的多样性组合问题,提出自适应 K 值规则以优化采样路径数。 在 5 个模型和 12 个基准测试中,提示词模板多样性在 60 个模型-基准组合中的 55 个降低了路径相关性,平均相对降低 16%。