预测是 MoE 所需的一切:专家负载分布从波动走向稳定
研究者分析 MoE 训练中专家负载波动问题,利用预测算法将负载分布状态从波动转向稳定,提升资源利用率。 针对 GPT3 350M 模型,预测未来 1,000 和 2,000 步的专家负载比例,平均误差率分别为 1.3% 和 1.8%。 该成果为 MoE 模型训练中的专家放置或资源分配提供了有效指导。
研究者分析 MoE 训练中专家负载波动问题,利用预测算法将负载分布状态从波动转向稳定,提升资源利用率。 针对 GPT3 350M 模型,预测未来 1,000 和 2,000 步的专家负载比例,平均误差率分别为 1.3% 和 1.8%。 该成果为 MoE 模型训练中的专家放置或资源分配提供了有效指导。
研究者发现大模型 API 浮点偏差加法存在数值侧信道,能恢复未披露的公共加性分量。 在 binary32 假设下,通过至多 52 次 token 查询即可精确恢复一对 logit 及其优先级。 利用 vLLM 和 SGLang 在 128 个 Qwen3-0.6B 输入上验证,该漏洞在 7 个模型族的 11 个检查点上均被复现。
研究团队提出了一种基于强化学习的客户端同步框架,用于解决边缘联邦学习中的同步瓶颈。 该框架将同步建模为资源感知控制问题,每个客户端根据本地进度和资源状态决定上传、下载或延迟通信。 实验表明,该策略在时空交通预测中降低了系统成本,在图像分类中提升了最终精度,证明了客户端控制优于纯服务器端协调机制。
研究发现,基于 LLM 的结构化标准抽取并非在所有情况下都优于思维链方法。 在两个 Reddit 语料库和 PHQ-9、BDI-II 量表测试中,前沿模型的标准抽取仅在有标签数据校准阈值时表现更好,且提升不显著;而 9B 模型在抑郁症社区语料库中表现相反,无标签的先验规则反而优于其直接提示和思维链结果。
MP-MNCA 框架在 12 个人体背外侧前额叶皮层切片中表现优异,在 ARI 和 NMI 指标上优于最强基线 STAIG。 该模型通过形态先验和自监督掩码邻居对比目标,以更少训练轮次收敛,平均峰值 ARI 为 0.546,平均 NMI 达 0.657。 研究证明该方法在加快空间域识别收敛速度的同时,未牺牲聚类质量。
SlideDP 是一款同步数据并行运行时,实现了超越 GPU 显存的全参数 LLM 微调。在匹配批量基准测试中,其吞吐量较 SlideFormer 等基线提升 1.46-2.64 倍。
Mira-Embeddings-V1通过LLM合成数据优化招聘领域的语义重排序系统,无需大规模人工标注。 该系统利用两轮LoRA适配及轻量级重排序头,在300个真实JD的测试池中,将Recall@50从68.89%提升至77.55%,Precision@10从35.77%提升至39.62%。 结果显示,结合边界感知重排序的LLM合成监督策略,无需重型交叉编码器即可获得稳健的性能提升。
论文提出双时钟框架,解释强化学习中可验证奖励训练里大 rollout 批次为何学习更慢却失败时点相近。 基于局部二次模型,平方根学习率规则保留每样本一阶漂移但不保留进度,大批次因更新次数少、曲率损失更大导致样本效率下降。 在 Qwen2.5-Math-1.5B 上的 GRPO 实验(16 倍批次范围)验证了漂移阈值假设,并推导出先低批后大批的多步 RLVR 调度策略。
TrustMOPD 提出一种标签无关、token 级别监督分配的多教师在线策略蒸馏方法,解决了动态适应性难题。 实验显示,该方法在 SingleCap 和 MultiCap 上分别填补了 91.5% 和 98.0% 的师生分数差距,优于最强基线。 其性能接近基于标签的蒸馏方法,且无需领域标签,代码已公开。
研究提出无数据、免训练的 SPACE 方法,利用预微调权重主子空间选择性回退微调更新,解决领域外能力退化。 该后处理技术适用于 Qwen2.5、Llama-3.1 等 2B 至 14B 模型,在数学任务中显著提升了模型表现。 例如 Qwen2.5-7B 在数学领域的领域内与领域外分别平均提升 2.85 和 2.26 分。
研究者提出 CACTUS,一种基于 ADMM 的优化器,支持预训练权重的剪枝与稀疏加低秩分解,在 Qwen3-4B 上实现超过 28 倍于 LLM-Surgeon 的加速。
PerturbEnergy 提出一种条件能量先验方法,用于捕捉被细胞复杂性掩盖的扰动特异性信号,以加速药物发现。 该方法将能量分布倾斜至扰动偏好区域,并可集成进自编码器架构,证明优化其 ELBO 能增加表征与扰动间条件互信息的下界。 在四个基准数据集上,其扰动识别准确率最高提升 83.2%,并在差异表达基因(DEG)预测中达到最先进(SOTA)性能。
提出一种基于荣格八种认知功能的 target-first 框架,并构建 NarrationDB 数据集。 该数据集将角色自我叙述与自动评估的联合分数相关联,在三个模型上验证了问卷分数的可控性及双功能目标的协调变化。 结果表明,直接提取的联合方向比无关配对更接近其个体方向,但保留有显著的残差分量。
研究团队训练了最高4B参数、基于1万亿过滤token的点时语言模型。 在常识推理等基准测试中,该模型性能接近同规模的Gemma-3-4B和LLaMA-7B,缩小了与无限制模型的差距。 完整的训练、数据构建和评测代码已公开,支持可复现的点时建模研究。
STAGE 提出一种基于源数据的 Text-to-JSON 生成管线,利用 LLM 合成报告与 JSON schema 并校验数据。 在 STAGE-Eval 基准测试中,该方法将 Qwen3-4B 的完全匹配率从 31.37% 提升至 74.27%,数值准确率从 45.46% 提升至 90.69%。
该研究证明,结合极简 GRPO 设置与针对检索、多证据合成及推理三类任务构建的 8 个数据集(约 14K 样本),可显著提升长上下文推理能力。 在 Qwen3-4B/8B/30B-A3B 模型上,该方法在 7 个长上下文基准测试中平均提升 +7.2/+3.2/+6.4 分,且效果可迁移至智能体任务。
ReGrad 提出“可检索梯度”范式,将梯度作为知识单元离线预计算并存储于 Gradient Bank,推理时仅检索相关梯度进行临时权重适应,避免累积权重漂移。 方法引入双层元学习目标重塑文档梯度,使其转化为可泛化的下游任务适应信号,在通用与领域特定场景下均优于持续预训练(CPT)和 RAG 基线。 该范式实现了可扩展且可逆的参数化知识注入,有助于缓解灾难性遗忘。
研究团队提出 EarthAlign 数据集及 MeteoLIP 双编码器框架,旨在解决地球系统数据与语言通用对齐的缺失问题。 MeteoLIP 通过 MetTok 聚合 63 变量 ERA5 气象数据,在跨模态检索等任务中超越 CLIP 和 SigLIP 基线模型。 代码、数据集及权重已公开,为地球系统多模态表征学习提供基础。
音频大语言模型在长链推理中常因标准 RL 方法忽视非文本模态依赖,导致晚期模态崩塌及幻觉。 研究人员提出模态感知策略优化(MAPO),一种双分支强化学习框架,通过模态相关性掩码动态聚焦关键 token,并引入辅助注意力损失以维持对源模态的关注。 MAPO 在复杂音频推理基准测试中显著提升了长程推理保真度,在开源权重模型中表现极具竞争力。
针对差分隐私持续学习中的遗忘问题,研究提出 DP-SPA 方法,通过构建稳定与可塑子空间消除双线性噪声交互。 DP-SPA 固定子空间基底,仅对 LoRA 因子进行隐私优化,并在合并前基于更新能量重标定系数。 在 5 个数据集、8 种设置下的实验表明,该方法提升了平均准确率并减少了遗忘。
8500万参数的关系型基础模型 RT-J 引入,仅需数百个上下文示例即可在未见数据集上进行准确预测。 模型在 RelBench 上平均比强特征工程流水线少用 10 倍示例,预训练采用多达 8,192 个数据库单元格的长上下文,并基于 639 个数据库组成的 Join 数据集。该工作推进了关系型数据上下文高效预测的前沿,凸显真实世界语义与大规模预训练的重要性。
提出仅每次更新需单次后验采样的 Fenchel-Bregman 方法,训练求解器参数的后验分布以提升多候选覆盖率。 该算法 FBI 结合精确 Fenchel 重构与闭式 Bregman 更新,在匹配对比中以直接蒙特卡洛基线 12.3% 的单次更新训练时间达到相当的 Pass@10 表现。
LEAF 方法在 LLM 推理中实现约 4 倍探索加速,较最强基线模型提升准确率 1.59 和 1.83 个百分点。 该方法注入动态问题特定记忆至上下文,并通过自蒸馏更新策略,在四个基准测试中表现优于随机采样基线。 研究结果表明,LEAF 在提升探索效率的同时显著降低了计算资源消耗。
summary_zh: 研究团队提出 CoCA 方法,解决传统评分标准强化学习中结构化监督未被充分利用的问题。 该方法将评分标准信息重构为信用分配的提示,基于准则引发的分布变化在 token 层面分配信用。
研究团队提出 ReasonXL 语料库,包含 5 种欧洲语言超 250 万条对齐样本及 110 亿 token,旨在解决 LLM 非英语推理缺失问题。 通过监督微调 (SFT) 与可验证奖励的强化学习 (RLVR) 两阶段管线,模型可在目标语言中完成推理,两种语言性能匹配或超过英语基线。 该成果实现了跨领域推理轨迹的直接监督,提升了多语言场景下的模型推理能力。
研究者提出针对量化预训练的混合精度扩展定律,明确区分量化对模型容量与优化效率的影响。 该定律在现有4位配方分解与Qwen3实验验证下,预测误差比现有定律降低11倍。 研究进一步扩展至逐层混合精度,揭示最优精度随计算预算增加而提升的规律。
summary_zh: 研究人员提出 FedLoRD,这是一种利用全局与个性化模型参数差异低秩特性的个性化联邦学习方法。该方法在每层差异上引入核范数正则化,并通过分解表示使普通随机梯度下降能够高效求解。
论文提出使用 Hilbert 距离作为度量,以约束 Softmax 输出分布的变化并限制交叉熵损失变动。该方法将 RowNorm 与 Compositional Muon 统一在相同的数学框架下,分别对应 LM head 与注意力机制的最速下降求解。这为在 Softmax 模块中设计优化器提供了新的指导原则。
CÆNL 结合动态坍缩正则化(DCR)优化主动学习表示,在 ImageNet-100 上 60% 标注时优于纯熵方法 1.742-1.834 个百分点。 ResNet-50 准确率达 73.420%,增益通过 Holm 校正检验;谱研究证实几何正则化任务依赖性强。
该论文提出基于互信息的Max(MI(S;t))启发式方法,优化自回归大语言模型的目标词序,超越了默认的下一词预测(NTP)。 在算术推理、多标签分类等任务中,该方法在不改变模型架构的前提下,提升了GPT-style及Llama/Qwen模型的性能。 其效果优于逆序、TF-IDF等基线,证明了目标词序作为训练设计选择的重要性。
本研究评估了六种文本模型和图神经网络在利用预定义社会噪声结构缓解虚假信息方面的性能,使用2024年3月至2025年3月间50万条相关推文数据集,高级机器学习模型准确率在79.94%至97.17%之间,其中RoBERTa表现最优,准确率达97.17%。
TADrop是一种即插即用的数据无关稀疏化方法,通过量级分布独立确定张量保留率以优化模型合并。在LLM和LoRA合并基准测试中,该方法在RoBERTa GLUE上较EMR-Merging提升4.99分。多任务ViT-B/16合并性能随任务数增加显著提升,30任务时提升达2.26分。
RCR通过角色条件化相关性评分和token预算控制,在多智能体LLM系统中分配相关共享记忆。 该方法在ALFWorld等基准测试中平均降低35%的token使用量和38%的运行时,同时保持或提升任务性能。
研究提出引导式动态稀疏训练(guided DST),将修剪偏向非功能边缘、再生偏向功能一致候选,以在极端稀疏下保持网络连通性。 在 99.9% 稀疏度下,该方法在 CIFAR-100 上较未引导 DST 最高恢复 14.4 点准确率,且在 MLP-Mixer 于 99.99% 稀疏度下仍可训练,而未引导随机再生则性能急剧下降。 实现代码已公开,将极端稀疏训练重新定义为保持连通性的动力学过程。
研究团队提出 MFG 强化学习框架,利用多轮反馈指导 LLM 进行分子优化。该框架在 GeLLM³O 上实现 81.50% 平均相似度约束成功率。相比基础模型 70.81% 的得分,MFG 显著提升了迭代优化性能。
在100个合成患者档案中,开源权重LLM在个性化处方任务上的总体适用性准确率(0.810-0.850)匹敌或超越专有模型基线(0.780)。 引入RAG后所有模型均有提升,但排名差距缩小至0.04;双评分者主观评估发现,检索虽提升准确率,却降低了部分模型的五个维度评分。 研究强调在医疗场景中部署先进LLM和AIFM需重视伦理风险及透明化原则。
研究通过自动翻译英文用户生成内容,探索 LLM 在希腊语抑郁症严重度识别中的应用。 结果显示 GPT-3.5-turbo 在英语任务中表现不佳,在希腊语中表现亦不稳定。这凸显了在低资源语言中开展进一步研究,并保留人类监督以避免误诊的必要性。
G-Scion 框架将优化器几何分配转化为可测量的层级决策问题,在 31M GPT-2 和 ViT-B/16 实验中验证了动态路由优于固定策略。 该方案通过有限批次比值和下界确定条件期望下降,引入局部方向二次得分控制层级路由。在受控实验中,方向曲率匹配在所有七种聚合设置中准确预测了几何选择。 这些结果表明优化器几何无需按层类型硬编码,为理解分配机制提供了基础。
SRO 通过任务自适应配方空间实现 LLM 自动后训练,在联合评测中显著优于最强基线。 在 Qwen3-1.7B 与 GPT-5.4 组合中,SRO 得分 41.1,基线仅为 15.4;Qwen3-4B 与 DeepSeek-V4-Flash 组合中,SRO 得分 53.8,基线为 40.8。 SRO 代码已开源。
提出利用归一化互信息(NMI)测试有限离散设定下的习得等变性。 使用中心核对齐(CKA)扩展至高维激活,并在正交特征变换下提供精确保证。 实验显示数据增强通常提高了变换一致性,无需恢复隐藏变换规则即可直接探测表征中的等变性。