Spectra 调度并行光路交换机优化 AI 训练网络时延
Spectra 算法调度并行光路交换机处理 AI 训练流量,将 GPT 工作负载完成时间缩短 1.4 倍。 该算法通过分解加权排列、感知负载分配及均衡拆分三步实现,在 MoE 工作负载中缩短 2.7 倍。 已获 IEEE/Optica 期刊接收。
Spectra 算法调度并行光路交换机处理 AI 训练流量,将 GPT 工作负载完成时间缩短 1.4 倍。 该算法通过分解加权排列、感知负载分配及均衡拆分三步实现,在 MoE 工作负载中缩短 2.7 倍。 已获 IEEE/Optica 期刊接收。
论文提出方向性影响函数(DIF),将约束学习的最优性条件转化为变分不等式,解决经典影响函数在约束设置下估计违背可行性的问题。 在约束线性回归中,DIF 可恢复留一法重训练结果,而经典影响函数及惩罚方法存在显著偏差;在公平性约束 CNN 中,DIF 准确预测数据移除后的测试损失变化。 DIF 被证明是约束学习中进行数据归因的高效可靠工具,提升了模型的可解释性与鲁棒性分析能力。
研究人员提出REGEN框架,通过回收专家模型强化学习的回放内存并应用离线强化学习算法,训练通用大模型。该方法将采样过程与反向传播解耦,在数学推理、代码生成等任务上以更低成本达到多教师蒸馏的精度。 REGEN可将在线强化学习转化为数据合成过程,降低大规模后训练对计算基础设施的需求,代码已开源。
基于 MIMIC-IV 3.1 的审计显示,2020-2022 年约半数 ICU 住院无记录,且血管加压素数据迁移导致标签率误判。 有界更新在 12 个主要单元中的 10 个优于或等效于全量微调(0.015 AUROC 边际),但适应性增益较小。 模型更新策略的效果高度依赖特定目标、模型家族及学习率调优,审计应先于更新评估。
研究梳理 272 篇文献构建分类体系,发布开源平台 PromptSecurity 及 JailbreakDB 数据集。 JailbreakDB 含 445,752 条越狱提示对,评估覆盖 11 个模型与 20 种攻击,指出 ASR 受评判器配置影响。 强调配置感知报告必要性,避免无上下文的方法排名。
研究人员提出 GAC 噪声感知自适应混合控制器,在数学、代码、科学和逻辑基准上比 HPT 提升 3.8 分,并将 KL-漂移面积减少 28%。 该方法基于 CHORD 的逐 token 重新加权,引入 EMA 平滑和调度先验,计算开销低于 1%;性能增益随模型从 1.5B 到 14B 增大而提升。
新基准 TabLens 显示,在可估算的复杂度阈值以下,LLM 零样本推理精度可匹配 16 个标注样本,无需额外数据。 该基准包含 91 个跨八个领域的真实与合成数据集,以及 8 个含自由文本列的工业数据集。 结果显示,含自由文本列时零样本 LLM 优于 16-shot TabPFN-3 Plus;显式专家规则仅能替代约 16 个真实样本。
f-OPD框架通过样本级新鲜度分数自适应调节陈旧样本影响,在保持异步执行吞吐量优势的同时,实现了与同步优化相当的推理、工具使用及编码智能体任务性能。 该方法理论上将目标差异分解为 rollout 漂移和 supervision 漂移,旨在解决异步训练与理想在线策略目标间的张力,建立性能与效率的权衡方案,为大规模长周期智能体后训练铺路。
LoopQ 框架针对循环语言模型(LoopLMs)提出后训练量化方案,有效解决分布偏移、状态复用和递归误差累积导致的性能退化。 该框架通过循环感知激活缩放、跨循环状态对齐和轨迹感知校准技术,在 W4A4 量化下实现五任务平均准确率 67.8% 的相对提升,困惑度降低保守估计达 75.2%。
提出稀疏序列级奖励适用于教师探索,稠密 token 级监督适用于学生压缩的后训练奖励密度原则。 在 Qwen3-1.7B 学生模型上,经 RL 改进的 8B 教师通过稠密桥接蒸馏,在 MATH 和 AIME 2024 上分别达 79.3% 和 25.2%,均优于直接 GRPO 的 75.9% 和 19.8%。
LLMRec 提出了针对 LLM 的推荐系统基准,在 ChatGPT、LLaMA 和 ChatGLM 等模型上评估了五项推荐任务。 测试结果显示,LLM 在基于准确率的序列和直接推荐任务上表现中等,但在基于可解释性的任务上性能可与 SOTA 方法媲美。 代码、处理数据和基准结果已公开,旨在推动研究者深入探索 LLM 在推荐领域的潜力。
该研究提出MoE架构优化框架,在670+个模型上验证了计算预算与最优架构的映射扩展定律。 框架通过数学解耦将搜索空间从O(n^16)降至O(n^3)+O(n^2),揭示近优配置带宽随规模扩大的定量规律。 该成果为任意计算预算下设计最优MoE模型提供了可操作的工程蓝图。
提出非监督奖励建模方法 Next-token Preference (NTP),利用原始网页文本延续结构构建偏好对。 在 11M tokens 数学数据上训练,RewardBench 2 准确率较初始化提升 7.6-8.3 个百分点,无需人工标注。 显著降低对昂贵偏好标注的依赖,提升后续监督微调的标签效率。
LLM后训练中,直接优化Pass@k指标会导致Pass@1性能下降。这种权衡源于提示词干扰引起的梯度冲突:共享模型参数将不同提示词耦合,优化Pass@k会隐式增加低成功率提示词的权重,进而偏离Pass@1的优化方向。该理论结果已在数学推理和代码任务实验中验证。
认证机器学习遗忘通常通过校准噪声至最坏情况敏感度来实现,但针对单个训练点的高度异质性导致统一校准过于保守。 作者提出了认证的实例级遗忘框架,使遗忘机制和证书能够适应被删除的数据点,让噪声量反映删除难度而非最坏情况。 在确定性训练和岭回归的噪声梯度下降中推导了显式证书,NYU-Depth实验表明实例级校准相比统一校准可显著提升效用。
研究揭示大语言模型微调中的负向学习在不同算法和阶段扮演不同角色,如正则化或维持探索。 该研究引入了基于梯度的端点探测框架,并在不同任务中通过调节负向更新强度改善了微调性能。
研究人员提出了一种名为Byrd-NAFL的拜占庭鲁棒联邦学习算法。 该算法将Nesterov动量机制与拜占庭鲁棒聚合规则相结合,以提升通信效率并增强对恶意攻击的抵抗力。 实验证实,Byrd-NAFL在收敛速度、模型精度及抗恶意攻击能力方面均优于现有基准方法。
在基于 NVIDIA A100 的测试中,前向-only 算法中只有 Mono-Forward (MF) 比反向传播更节能;其余 FF 和 CaFo 能耗反而为 BP 的 3.0-7.1 倍。 在 3x2000 的多层感知机上,MF 比 BP 节省 12.5%-19.9% 能源和 24.6%-27.5% 内存,并在 CIFAR-100 上取得统计上相当的准确率。
提出 Spatial-Interactor 框架,通过 L1 被动、L2 主动及 L3 长时程交互课程训练视觉语言模型(VLMs),构建 LSI-108K 数据集以提升空间推理能力。 采用两阶段训练策略:先对 L1/L2 进行监督微调(SFT),再利用特权自蒸馏优化 L3 长轨迹推理,在多项空间基准测试中实现一致的性能增益。
研究指出平极小值并非泛化能力的普遍代理,尖锐极小值可反映提升预测行为的归纳偏置。 实验显示在单目标优化和分类任务中,几何性质依赖于目标函数,且正则化常伴随尖锐极小值出现。 该发现支持对极小值几何进行函数中心式的重新评估。
新提出的检索系统STAIR利用目录(ToC)等全局结构增强LLM的检索能力,显著降低幻觉率。 在由18本书组成的SearchTome基准测试中,STAIR的Recall@1达到82.6%,优于DSI(76.9%)、DPR(68.7%)等基线。 该系统展现了在低样本数据下的泛化潜力,为基于结构的检索研究提供了新方向。
研究提出上下文记忆度量化指标,精准解耦大语言模型中的死记硬背与语境学习。 实验证实最优语言学习无法完全避免记忆,不同训练串在不同训练轮次被记住。 提出记忆感知训练方案,通过动态降采样平衡学习并减少记忆,NeurIPS 2026 收录。
PASS 方法为 GRPO 设计了过程优势构建流水线,通过奖励通道归一化与信号分块优化策略更新。在 7 个数学基准测试中,PASS 使 pass@1 比仅结果监督提升 4.62 分,且响应长度减少约 2%。该方法在多重 QA 任务中验证了稠密监督与信用分配的联合效应。
对 OpenRCA、RCAEval 和 PetShop 三大微服务根因分析(RCA)基准中 16 种方法的审计发现,池化排行榜无法揭示方法在各子系统上的表现一致性。
提出 SGPO 方法,通过可复用的策略蒸馏替代轨迹模仿,在四个数学基准测试中平均得分比最强基线高 2.2 分(Qwen2.5-7B-Instruct)。 使用 token-level forward-KL 目标传输策略条件带来的分布偏移,并采用自适应实例级权重增强指导。 该方法比直接轨迹模仿更具选择性,且策略蒸馏能力与基础模型能力呈互补扩展关系。
研究团队推出 LATTEArena 框架,将 15 种 LLM 特征工程方法归纳为 6 维分类法。该框架通过 24 种核心配置进行评测,量化了 token 效率并得出 17 项实证发现。
LlMBO 提出一种基于贝叶斯优化的 LLM 微调方法,作为 TinyLoRA 中梯度法的有效替代。 该方法无需梯度、内存占用低,支持跨设备并行,并能直接优化贪心解码准确率。 在数学基准测试中,LlMBO 的性能可匹敌或超越 GRPO,且计算与内存开销大幅降低。
提出 ConMoE 框架,将 MoE 压缩解耦为专家池构建与负载分配两步,实现参数高效压缩。 利用无标签校准输入优化分配,在 50% 专家保留率下,峰值 GPU 显存降低 29.6%-48.4%,且 Macro Accuracy 提升 1.82 个百分点。 该结果确立了专家分配作为 MoE 压缩中独立的优化维度。
研究发现,语言模型的数值自报与其内部状态探针分数仅弱耦合,且提问会干扰被测量的状态。 研究覆盖 8 个指令微调模型(1B-27B 参数规模),自报分数对探针读数缺乏概念特异性,且这种可靠性不随模型规模扩大而改善。 因此,数值自报不应作为衡量模型内部情感状态(如福祉、兴趣)的可靠指标。
研究对比权重、过滤和条件化方法在 VLA 预训练中的作用,发现感知型条件化提升平均成功率,且基于标签的微调可进一步优化性能。 实验使用 5000 条次优人类演示和 24 个目标任务,涵盖 3 种 VLA 模型;真实世界中模拟预训练将成功率从 9.6% 提升至 31.7%。 该成果通过 AXIS-Bench 支持受控对比,为 VLA 模型的质量感知训练提供了可复现基准。
研究人员提出强化学习框架HD-RL,通过优化大语言模型的解释来校准人类决策,显著提升下游任务中的人类判断准确率。 在AI生成文本检测任务中,默认模型解释导致人类准确率仅为51.3%;应用HD-RL优化开源Qwen 3.6模型后,人类准确率达到63.7%,且超越RLVR等基线模型8%以上。
针对表格基础模型(TFM)在重复测量下表现劣化的问题,研究通过 6 个 TFM 的仿真与半仿真实验揭示,额外测量虽能提升已知输入的预测准确性,但会显著降低其他位置的预测性能。
作者提出 APT 框架,通过三个智能体协作,根据模型能力演变自适应生成后训练数据。 该框架协调构建评估集、诊断模型缺陷并生成强调弱项的强化学习提示,形成递归自我改进反馈环。 在多种基础模型、基准及架构上的实验证明,APT 具备模型、基准和架构无关性,且全流程自动化。
机器学习势函数(MLP)通常被认为准确性受限于训练方法。本文提出通过泛化到量子化学方法空间,构建“方法可迁移”的 MLP。 实验表明,基于密度泛函和波函数理论的实现证明,这些 MLP 的预测精度可以超过其所有训练方法。该方法将推动化学模拟中训练数据集的构建与模型评估方式,突破现有精度极限。
研究人员提出混合后见之明自蒸馏(H$^2$SD)方法,针对强化学习可验证奖励中奖励信号对token级信用分配指导有限的问题。在Sudoku、数学推理等任务中,H$^2$SD在两个Qwen3模型上实现43.33%的平均准确率,比最强基线高11.43个百分点。
PermaFrost-Attack框架通过隐蔽预训练种子(SPS)向LLM植入潜在不安全行为,其载荷微小且易被标准评估隐藏。 研究引入热力学长度、谱曲率及感染追溯图三种几何诊断方法,揭示该攻击在多个模型族中的持久性与隐蔽性。 SPS被确认为基础模型实际且被低估的安全威胁,为检测潜在模型漏洞提供系统性理论基础。
在数学 RLVR 训练中,分布锐化导致难题覆盖范围收窄。DAHS 和 BHA 方法通过条件化提示和长度桶退火,解决了教师-学生分布不匹配及无提示评估适应性问题。 该方法在 Qwen3 模型上提升了 AIME 的 pass@1 和 pass@2048 分数。 它有效缓解了 DAPO 框架下难题覆盖范围的收缩。
研究提出Enhanced Detective策略,通过结合MAD、距离过滤和FedMedian,在联邦学习中防御恶意客户端对金融欺诈检测模型的投毒攻击。 实验在50轮通信中模拟40%恶意客户端,该策略将AUPRC提升至0.796,Recall达0.847,有效维持了隐私敏感场景下的模型性能。
GUARD 框架提出一种结合数据归因的 LLM 遗忘方法,通过自适应非均匀权重分配缓解“非预期遗忘”,在 TOFU 基准上将 Retain Set 的 ROUGE-L 从 0.18 提升至 22.40,实现 124 倍性能恢复。
BenchHub 是一个将基准视为实例级属性分布的组成感知评估框架,旨在解耦模型能力与基准构成。 该框架整合 54 个基准、涵盖 10 种语言的 839K 样本,支持构建可控评估集以优化模型选择。 论文已被 NeurIPS 2026 接收,推动基准组成透明化与可检查的评估实践。