基于细粒度监控揭示 GPU 集群调度与多任务机会
针对 GPU 集群成本高且队列延迟长的问题,研究团队通过开发基于 Nvidia DCGM 的轻量级监控工具,以 100ms 粒度深度分析了某大学集群的 10 天运行数据。
针对 GPU 集群成本高且队列延迟长的问题,研究团队通过开发基于 Nvidia DCGM 的轻量级监控工具,以 100ms 粒度深度分析了某大学集群的 10 天运行数据。
针对数据不足与类别不平衡,该研究提出综合数据生成策略以提升深度学习模型在橄榄树病害分类中的性能。 采用传统增强、CutMix、MixUp及DCGAN生成合成图像,结合EfficientNetV2B0架构,验证了在平衡类别、增加样本及保持平衡扩展数据集三种场景下分类准确率的显著提升。
提出通过最小化有限体积法残差训练注意力图神经网络,实现无需标记数据预测 3D 热流体场。在两个稳态基准中,模型平均归一化均方根误差接近 3%;在参数化瞬态案例中,其 rollout 误差低于数据监督基线。该方法避免了传统数值求解器的计算与存储成本,为神经代理模型提供了实用的训练信号。
LLPR回归法作为前向传播廉价的逐构型不确定性估计器,能在分子、凝聚态及电解质体系中识别紧凑高价值训练集。 该方法仅用少量电子结构标签即可恢复全数据准确率,在基模型微调中以远少于随机选择的标签逼近实用上限,并在迭代电解质微调中检测非物理局部配位。 这为机器学习力场训练各阶段提供了可扩展的不确定性量化策略。
研究者确立了一般空间(包括黎曼流形、离散网络)上行列式点过程采样的显式速率保证。 核心结果保证收敛速率可比拟于 (样本量)^(-1/2 - 1/(2d_int)),与欧氏空间采样器速率一致。 方法连接 Weyl 定律与 Markov 扩散算子理论,适用于分形等非欧氏空间。
模型基策略因胜者诅咒易产生虚假乐观评估,过去十年Management Science的55篇相关论文中53篇依赖此方法。 研究显示即使满足模型准确、随机分配、良好设定及样本划分等条件,仍无法避免胜者诅咒。 该缺陷会导致报告出高达60%的虚假收益,且与文献中22%-75%的真实改进幅度相当。
研究团队引入统一理论框架,通过显式建模张量运算结构,分析深度学习40年历史中架构复杂度的演进,并自动构建新架构。 研究揭示了突破性架构与复杂度提升的关联,识别出多个未被探索的高复杂度架构大类,并公开释放了包含3000+架构的数据集。
MUNKEY提出“设计上遗忘”范式,通过删除实例识别键实现零样本遗忘,无需权重更新或访问原始数据。该记忆增强Transformer在自然图像、细粒度识别和医疗数据集上优于所有事后基线。此方法实现了面向部署的快速遗忘,同时保持预测性能。
COMPOT 引入一次性动态分配策略,在不同层间自适应重新分配压缩率,实现了比强低秩和稀疏基线更优的质量-压缩权衡。 该框架与后置训练量化完全兼容,支持极端压缩场景。
提出 PENEX,一种基于多类指数损失的正则化方法,可用一阶优化求解。 在计算机视觉和语言任务上,PENEX 提升了低数据场景下的泛化能力,表现匹配或超越现有正则化方法。 证明了指数损失在 AdaBoost 之外具有应用潜力。
该论文通过 3.7 万个模型实验发现,在 ResNet56 等深层网络中,Oracle Pruning 剪枝后的表现与重训练后的性能几乎无相关性。 这一反直觉结果指出,基于 Oracle Pruning 推导剪枝准则的基础假设存在缺陷,任务复杂度上升是导致其失效的主因。 作者建议在未来开发剪枝准则时,必须将重训练阶段纳入考量。
TRON框架利用实验表征的蛋白质-蛋白质相互作用(PPI)网络作为架构先验,通过物种隔离机制保护新生架构,结合经典进化算子与神经进化机制。 在CORA、CITESEER、PUBMED等分类及三个回归基准测试中,TRON取得了最高预测性能,且多次独立运行间的变异性显著降低,提升了鲁棒性与收敛稳定性,但计算成本增加。
论文发布mdRNAcat数据集,包含48个RNA系统的原子级分子动力学(MD)模拟数据。 数据采用REST2方法,每系统设32个哈密顿状态,单状态生产长度为200-300 ns,以HDF5格式提供坐标和力。 该资源支持开发及评估数据驱动的RNA模型,包括粗粒化力场。
研究证明在潜在因子模型下,可直接从线性自编码器权重矩阵发现潜主题,无需额外训练。 提出新颖的项和用户归一化方法,防止热门项与活跃用户主导主题分布。 在6个公开数据集上,该方法的显著高于所有专用主题模型,推荐性能与最优推荐器具有竞争力。
HIFI 提出两阶段微调框架,解决基础模型统计推断中数百次重采样拟合的高昂计算成本问题。 该框架第一阶段在较大样本上单次适配基础模型,第二阶段利用轻量级 PEFT 估计器对残差进行重采样推断,支持 ensemble subsampling 和 nonparametric bootstrap。
团队提出一种端到端神经框架,用于预测自由形式 RFIC 无源器件在可变频率和电路上下文下的电磁响应及下游设计性能。 该框架结合频率条件神经仿真器与电路条件神经求解器,输出包含显式电磁响应和互补响应的神经电磁响应。 在由专家设计轮廓和随机路径合成的大规模数据集上,21M 参数模型在几乎所有目标上达到 R²>0.98,评估速度比传统电磁仿真快数个数量级,代码已开源。
研究团队提出神经特征流体基(NEB),一种可在空间任意位置评估基函数并直接强制执行不可压缩性的神经表示。 该模型通过几何局部正交化学习有序基,使用1024个模态时,周期性涡旋合并中的速度误差低于1%;相比全参考模型,其简化状态规模缩小约1000倍。 预计算的Galerkin算子允许在重用相同基时实现毫秒级的状态更新。
针对服务超 10 万开发者的 92B 编程 LLM,引入 RefactorForge 生成 4,572 条经验证轨迹。增量微调占前置编码数据 0.46%,SWE-Bench ProMax 提升 7.06 分。
提出 DP-RFedProj 方法,实现紧凑子流形上的记录级微分隐私联邦学习,聚合通过闭式投影在固定环境几何中私有助梯度。 收敛速率中隐私项随流形内在维度而非环境维度缩放,客户端可运行随机一阶优化器并间歇参与。在 Grassmann 流形联邦 PCA 与 Stiefel 流形 EEG 分类实验中,达到相同隐私预算时噪声比最近先验方法少 5 至 6 倍。
研究人员提出 Ampe-DB,这是基于加纳传统游戏 Ampe 的多模态数据集,包含 15 名参与者的 637 段标准化动作片段。 数据集涵盖 RGB 视频、双人姿态及元数据。基准测试表明,RGB 模型在 pair-held-out 评估中 macro-F1 从 0.955 降至 0.418,而姿态模型更鲁棒,得分达 0.811。 研究支持细粒度动作识别与身份感知泛化。
2025-2026年美国麻疹报告病例超4600例,研究者利用公开数据开发了三阶段机器学习框架整合基因组、污水及临床皮疹数据。 第一/二阶段利用k-mer TF-IDF-SVD与单核苷酸多态性距离进行传播关联推断,逻辑回归达到AUC 0.924。
偏好优化常会学到虚假相关,引入“同分”(ties)数据可减少此类问题。该文提出基于隐式奖励幅度筛选同分样本的方法,在逻辑线性策略、神经模型及大语言模型中均有效降低对虚假特征的依赖。
在 LeJEPA 自监督训练中,已知生成因子的可读性在 9/10 个随机种子中骤降,但无标签监控信号未发出预警。 11 个无标签指标大多持续改善并错误地评估下降运行优于未下降运行,标准变点检测也罕见地在发生时标记该事件。 这表明现有无标签监控方法存在盲区,无法及时识别编码器能力的真实退化。
细粒度信用分配在多模态视频编辑任务中表现不一,细切任务中衰减过程奖励比结果级GRPO高45.4%。 短程任务中衰减过程奖励最多仅带来10.4%增益,且固定权重易导致工具调用冗余。 在长轨迹中密集token级监督的OPSD方法效果有限,甚至显著退化。
提出 OneEEG 框架,整合数值与视觉 EEG 表征,引入任务感知 Mixture of Projectors (MoP) 对齐异构特征,实现多任务 EEG 理解。 基于 OneEEG-Instruct 数据集训练,建立 OneEEG-Bench 基准测试现有 MLLM 与该方法,实验显示 OneEEG 在 EEG 输入解释上表现优于现有模型。
论文提出球面布朗扩散(Spherical Brownian Diffusion)语言模型,采用布朗运动作为球面上各向同性扩散的标准前向过程。 模型结合交叉熵学习干净token后验支持多种采样器,并推导高维近似速率以分离破坏与推理。 在Sudoku上两种破坏过程结果近乎相同,而固定破坏过程时采样器选择带来25.0分差距。
MXFP8 强化学习在 Blackwell B200 上实现端到端训练,MoE 模型训练时间缩短 10.7%,生成时间缩短 24%。 在 Qwen3-30B-A3B 模型上,匹配网格采样器使 train-rollout KL 降低 11%–16%;短序列密集工作负载速度下降 5%。 七项权重同步条件中五项失败是静默的,CPU 故障注入测试复现了其中五项。
研究者提出误差扩散(ED)优化器,将二值化语言模型训练状态从 97 bit/权重 压缩至 3-9 bit/权重。 ED 利用 2-8 bit 残差缓冲区替代隐变量权重,在字符级 Transformer 上收敛性能达到参考基准的 98.3%-95%。 该方法使二值模型在 275 MB 内存预算下实现设备上适配,摆脱了对高精度隐变量副本的依赖。
研究提出 MOFjson 表示法,将结构数据分为原子层和衍生层,并在基准测试中表现优于三个基线模型。 在四个模型测试中,MOFjson 在“到达块最近周期副本”任务准确率达 100%(基线 18-47%),晶系表征达 96%(基线 71%),配位任务达 60%(基线 48%)。 该表示法为智能体工具工作流和受限 MOF 生成奠定了基础。
理论分析揭示有限步Muon在确定性梯度下可周期震荡,正稳定化可保证末次梯度收敛且梯度高斯平方可和。随机梯度下恒定学习率阻碍收敛,需结合递减学习率与递增动量实现末次收敛。
研究提出框架比较黎曼流形上Wasserstein和MMD的不同几何版本,发现无统一可靠指标。 基于控制噪声和Riemannian Flow Matching样本,分析度量一致性、噪声敏感性及几何体积缩放关系。 提出报告评估距离、比较度量类型及根据样本几何校准指标的实际建议。
研究者发现 actor-critic 算法在 Starpilot 和 Craftax 环境中的经验缩放定律,可精准预测最大相差两个数量级的训练性能。 使用 Elo 分数替代平均回合奖励作为评估指标,显著提升缩放定律的可预测性,并在 Craftax 环境中创下新纪录。 进一步观察到计算最优模型规模出现非单调缩放现象,该规律与 Ray interference 病理机制相关。
研究者提出联邦整合两步合成(FITS)框架,旨在联邦设置下生成混合类型表格合成数据。 该框架核心利用局部线性回归估计条件累积分布函数,并通过持续化方法将离散变量无损映射至连续空间,以实现统一的连续表示。 实验表明,使用 FITS 生成的合成数据能够提升所有客户端在下游任务中的表现。
ChatGPT Images 2.5 发布后 51.1 小时内收集 3,478 张图片,构建发布期数据集用于评估 6 个冻结检测器。 在 5% 标记率下,各检测器标记率为 3.7% 至 56.4%,低于 GenImage 召回率 42-81 个百分点;保留艺术图误报率为 1.5% 至 96.5%。 数据集支持分析产品过渡期的模型使用情况,已公开发布。
研究团队推出 AgentLogs,这是首个涵盖 GitHub 云智能体真实世界活动的大规模数据集,旨在打开黑盒,记录包括失败在内的执行过程。 数据集包含来自 40,565 个公共仓库的 363,624 个任务和 635,886 个会话,以及 75,631,136 条日志条目,详细记录了提示词、推理、工具调用和 token 消耗。 该数据集支持对智能体行为、故障模式、效率成本及人机协作等方向的研究。
研究推导出“神经信息因果律”(Neural-IC),证明对独立比特数据库,后续查询可恢复的总信息量受限于物理规定的接口容量,即使存在预置量子资源。 该定律将容量松弛、联合组织信息与答案生成损失分离,展示了内存信息预算高使用率与有限检索能力共存的机制。 该框架为表示学习提供设计原则,通过定位后期答案约束来指导内存分配、编码目标及解码器输出。
研究提出 EAR 范式,将视觉规划重构为单步图像变换,并引入 AMaze 数据集用于抽象谜题探测。 实验评估主流编辑模型发现零样本表现不佳,但基础尺度微调可显著提升领域内外泛化能力。 高性能模型仍无法匹配人类解题效率,揭示了神经视觉推理的持续差距,论文已被 NeurIPS 2026 接收。
研究揭示大语言模型在多位算术上泛化延迟(grokking)受数字基数影响。在进位仅依赖当前位的基数下,Transformer 所需训练整数数量显著减少。 通过一步 Collatz 预测实验验证了上述规律,该结构也适用于整数除法及 decoder-only 模型。该研究在 NeurIPS 2026 Workshop 被接受,表明数制选择可预先预测样本效率。
研究者提出ELinFormer预测器,通过熵校准线性注意力模块解决多变量时间序列建模中二次方计算成本高的问题。 该方法将聚合分解为均匀分量和查询相关修正项,利用查询特异性温度进行校准。在5个PEMS基准测试中,该模型实现了精度与内存的有效折中,且查询特异性校准比共享温度方案获得更低MAE。
summary_zh: PCoreSet 框架在 11 个数据集上验证了 ActiveKD 的有效性,在 ImageNet 上平均提升 29.07%,且是唯一在 5 个学生模型和 3 个教师模型下持续优于 Random 的选择器。