OpenEBFM: 基于能量的基础模型是可扩展架构
提出能量引导模型(ESM)用于通用语言建模,整合能量引导与 token 生成。在 26 项下游任务评测中,ESM 表现优于 GPT 且具备可扩展性。权重与训练基础设施已完全开源。
提出能量引导模型(ESM)用于通用语言建模,整合能量引导与 token 生成。在 26 项下游任务评测中,ESM 表现优于 GPT 且具备可扩展性。权重与训练基础设施已完全开源。
研究对比了多种 Transformer 注意力记忆约束对人工阅读时间预测和语法能力的影响。 结果发现对中间 token 内容敏感的动态约束比距离约束更能对齐人类阅读时间。 动态课程下心理测量拟合与语法能力出现分离,表明 Transformer 非通用认知模型。
LazyFlash 通过前向密集、后向稀疏的注意力机制,在长上下文微调中实现高达 5.7x 注意力后向和 1.7x 端到端训练加速。 该方法在后向传播中根据梯度范数对 query 块进行排序并跳过贡献微小的块,同时在 FlashAttention 内核中实现被跳过块的不加载与不计算。 训练后的模型保持为标准密集模型,无需修改即可由 vLLM 等现有系统提供服务。
该研究在包含48名儿童共2441小时纵向第一人称视频的BabyView语料库上测试跨情境词汇学习模型。模型利用互联网预训练的视觉表征表现优于仅从发育视频学习,且大部分学习信号来自描述可见指代物的少量语句。 结果显示,模型习得的词汇表征呈现出可辨识的人类类语义结构,但其性能轨迹与儿童的实际学习过程存在显著差异。
研究指出,在大批量训练中,Polyak 动量可将临界批大小扩展至 $B(1-\beta)$,Nesterov 动量则提升至 $B^q(1-\beta)$。 该特性使 Polyak 能在不牺牲数据效率的前提下支持更高并行度,而 Nesterov 通过前瞻机制抑制噪声积累以优化数据利用率。 数值实验验证了预测的稳定边界与风险动态,证实了动量方法在不同批大小下的相图特性。
各向同性激活函数通过SVD对角化密集网络,实现去个体化神经元与自适应拓扑。该设计使网络可通过神经再生精确保持函数,通过神经退化渐近保持函数,并实现50%参数稀疏化。被NeurIPS2026接收,支持架构实时重组以适应任务需求。
LoRA 的非可识别性使其成为奇异统计模型,其学习复杂度无法仅由参数量描述。 研究利用实对数正则化阈值,证明前向-反向协方差决定低秩扰动是否统计可观测。 在感知机和 Transformer 实验中,环境协方差退化不意味着相关低秩方向退化。
预训练最多 1.3B 参数的模型发现,混合迭代的停头预测平均迭代次数低于 50%,但实际生成中几乎所有 token 仍运行至全部迭代。 原因在于训练未对单迭代停止进行评分,且按批次最慢 token 停止时,无停头模型在相同成本下表现几乎同等良好,平均迭代次数会高估节省。
DRIVE 提出一种微调权重分配框架,通过统一可微目标结合 Shapley 加法、协方差多样性项及先验正则化,解决灾难性遗忘问题。 该框架实现端到端梯度平衡,理论上具备更优的稳定性-可塑性保证,增强了参数估计鲁棒性。 实证结果显示,DRIVE 达到更优整体性能、更快收敛速度及更强鲁棒性,代码已开源,论文发表于 NeurIPS 2026。
TWIG将神经网络权重表示为共享离散决策路径的终点,实现剪枝、量化及低秩分解等压缩操作在统一对象上的编辑,支持单一优化器全局选择。 在大型语言模型权重矩阵中,TWIG 在 3-4 bit 精度下比 GPTQ 减少 9-15% 加法,面对强离群值矩阵时减少 20-55% 加法,且常见权重格式可视为无额外成本的浅层 TWIG。 该表示使权重层几乎全由导线和加法器组成,适合权重固定于制造过程的芯片。
研究提出合成数据改写标度律,预测模型规模、训练令牌数、改写比例及自然数据epoch数下的loss。在计算限制场景下,最优改写比例从$3\times10^{18}$ FLOPs时的不足10%增至$10^{22}$ FLOPs时的32%,22B参数模型损失预测误差为1.1%,其BPB优于改写者且计算量仅为后者十分之一。
研究提出名为 Nestor 的 Transformer 架构,其通过泛化注意力算子引入与 MoE 算子嵌套的稀疏机制。在同等算力与稀疏度下,Nestor 在语言模型预训练中的表现优于传统 MoE Transformer。
研究指出,在经典各向同性噪声假设下,Muon 优化器仅提供学习率缩放,无额外加速。针对关联记忆中异构任务频率产生的结构化噪声,该研究建立了精确平衡阈值,揭示 Muon 可将任务频率依赖性从线性降低至平方根,平衡高频与稀有任务的学习。
研究团队推出金融时间序列基准 FinVerse,包含 116,897 个序列和 1.711 亿观测值。 该基准基于经济语义组织数据,并评估 43 个公开时间序列基础模型在点预测、截面排名和组合回测中的表现。 FinVerse 在 GIFT-Eval 上的模型排名仅显示中等一致性(r=0.43),为金融决策模型选择提供了更有信息量的依据。
研究指出合成先验是决定表格基础模型质量的一阶因素,该领域此前缺乏深入理解。 提出包含层级 SCM 元生成器等四个组件的 O'Prior,在固定架构和计算预算下验证其设计有效性。 固定架构下仅调整合成分布即可显著提升下游准确度和鲁棒性,填补了先验构造研究的空白。
DeFAb 发布了一个包含 336 个任务的数据集与符号验证框架,基于 Gene Ontology 生物知识。模型通过补充理论或提出规则例外来填补空白,验证器检查编辑后果。简单符号修复解决了所有评估任务。 该框架要求例外需适用于相关案例并保留其他预测。计划研究比较有无反馈的训练与修订效果。DeFAb 使解释范围可测试,推进科学推理理论修订研究。
论文提出一种基于策略自我蒸馏的自训练框架,利用自生成问答对和特权推理演示实现模型后训练,无需依赖更强外部教师或人工标注信号。 该方法仅凭高层级主题描述,引导模型合成自身查询和推理轨迹,在文本和多模态领域实现一致性能提升,且保留未自训练领域的原有能力。 研究证明了基础模型具备丰富的潜在能力,无需外部任务监督即可在标准语言基准和视觉问答任务上持续自我改进。
提出 LARE 方法,在固定数据曝光下自动调整域权重,1.5B 模型在 240B tokens 上训练时,五项评测基准平均提升 7.84 个百分点。 基于梯度噪声理论,LARE 采用归一化平方根倒数规则平衡损失尺度,无需额外搜索即可在 GSM8K 提升 17.06 分,MATH 提升 9.00 分。 该方法证明了在不增加领域数据曝光的情况下,调整域损失尺度可提升多任务联合能力。
研究团队提出了 LEMS 和 KFAC-SVD 两种方法,用于解决基于 SVD 的大语言模型压缩中秩分配和分解质量的问题。 LEMS 通过分层误差代理改进秩分配,KFAC-SVD 利用 token 级统计量避免秩坍塌。 在 Mistral、Qwen3 和 Llama 3 模型族上测试,LEMS 带来最高 4.8 个百分点的零样本精度提升,KFAC-SVD 平均困惑度改善 15%。
WiMoT 提出了一种无回放的持续 Wi-Fi 感知方法,通过存储每类特征均值和协方差实现新域学习。 该方法在 3DO、WiMANS 和 Widar3.0 数据集上取得 94.02%、89.61% 和 95.16% 的平均最终准确率,遗忘率不超过 0.58 个百分点。 WiMoT 优于使用回放的基准模型,且将全协方差压缩为秩-32因子后,内存占用降低至 6.4%。
ALLMTS 是一种自动化 LLM 医疗分诊系统,通过执行商业维护的远程医疗指南进行分诊,在 566 个场景测试中准确率 0.95,优于原始 LLM 基线的 0.47。 该系统让 LLM 执行指南而非直接分诊,在 50 个场景子集上准确率 0.98,过度分诊率降至 0.02。 该成果被 NeurIPS 2026 GenAI4Health Workshop 接收。
研究指出 LLM 智能体蒸馏中 On-Policy 与 Off-Policy 的区分本质是层次性的,需独立控制诱导交互历史的策略与生成动作前缀的策略。
论文提出 Giskard 协议,结合差分隐私与拜占庭鲁棒性,解决去中心化学习中隐私攻击与模型投毒双重威胁。 该协议将参与者组织为 $O(\log n)$ 大小的委员会树,通过委员会适配的安全分位数搜索实现隐私保护坐标近似中位数计算。 实验表明 Giskard 相比最近竞争者将单点通信复杂度降低近三个数量级,且在高达 $n/4$ 拜占庭参与者下保持可比鲁棒性。
DualSFT 提出共享局部响应替代评分规则,将 LLM 微调中的参数重要性(列聚合)与数据效用(行聚合)统一为单一梯度交互矩阵的闭式行对应关系。该一次性双评分算法从共享梯度统计中同时生成参数掩码和数据子集。在 3B-9B LLM 上,完整 DualSFT 在匹配预算下比顺序混合基线实现更优的联合约束权衡。
论文提出无训练的“不变性审计”方法,利用预训练扩散或流匹配模型采样具有相同特征的输入,以诊断特征提取器的不变性是否符合任务语义。 该方法通过纤维损失引导去噪过程,替代了传统需数天训练的方法,仅需单次生成即可达到可比质量。 实验发现 Qwen-2B 模型存在将镜面人(situs inversus)与典型解剖结构归为同一不变集的潜在缺陷,代码已开源。
研究通过 Countdown 任务分析 RL 后训练,发现模型习得技能组合能力,实现对更大 n 值和未见树形的分布外(OOD)泛化。 模型先掌握浅层平衡树,再掌握深层不平衡树,固定深度下右侧较重结构仍脆弱。该诊断机制揭示了标准指标 pass@k 未能反映的泛化失败点。
研究者提出一种机器学习方法,利用虚拟服务器内部可观测指标预测其独占的 CPU 功耗,训练时依赖主机侧 RAPL 数据作为目标。 评估覆盖异构 CPU 平台、多种工作负载及并发场景,显示当部署条件在训练中被代表时预测准确,但零样本迁移可靠性较低。 监测与推理带来的直接 CPU 功耗开销很小,结果支持在训练数据覆盖目标部署域时进行实用的虚拟服务器功耗估算。
该研究提出一种仅依赖环境生存性而非外部奖励的自我训练架构,旨在解决自训练退化问题。 通过资源约束下的差异性生存选择,模型发展出元学习策略,实现负空间学习,使奖励黑客在进化上不稳定。 此方法为不依赖人工数据或复杂奖励塑造的自主系统提供了通往稳健自我改进的可行路径。
提出双层框架直接针对预测误覆盖率校准计算机模型。 结合条件流匹配模型学习摊销后验,并通过保形风险控制生成嵌套候选集以控制误覆盖。 在合成基准中,该方法带宽约为KOH-MCMC的20%且误覆盖率接近10%目标。
GateFormer 在 NREL-TSI 基准测试中,于 +30 分钟预测时点实现 125.01 W/m² 的 RMSE,较 SOTA 基线提升 9.6%。 该模型采用 GHI 条件化的双解码器 ViT 架构,结合轨迹头与增量头,并通过自适应加权机制优化最终时点预测精度。
自监督视觉预训练框架 VANE 基于嵌入空间的下一帧预测实现视觉世界建模,在 EPIC-KITCHENS-100 动作预测任务中 mean-class recall@5 比 V-JEPA 2.1 高 7.1 个点。
跨 ViT-B/16 等 7 种 CLIP 预训练模型训练 LoRA 后直接求和,可将平均准确率较未适配基线提升 30.21 个百分点,优于留一模型求和仅 0.06 个百分点的提升。
Jev-DLC提出基于类型化反馈的决策级持续学习方法,在TCPA-Repeat基准测试中整体用户宏精度达44.83%,比Recent-4历史重放高2.43分。 该方法无需调用评分器,不执行运行时反向传播,不保留原始交互历史。在有至少两个先前反馈事件后,模型达到56.07%精度。
采用黄金数据模型(GDM)重构检索上下文的制药声明生成系统,显著提升了生成内容的合规性与个性化。 该模型包含1867条声明数据,支持4个产品维度。在6个产品受众细分中,预期适应症准确率提升29%,目标受众匹配提升67%,每周API成本降低29.5%。 此方法证明了在高风险监管领域,数据架构重构比扩展提示词规则更具可扩展性。
研究证明,模型路由中的性能预测仅当候选模型次优或预测器容量显著增加时,才能胜过基于模型自置信度的简单基线。 理论推导显示预测器优势可通过再校准转化为模型损失改进,且其收益受模型次优性和额外参数增益的上界约束。 在16个大语言模型和4个基准测试中,模型越次优,预测器相比自置信度的优势越大,但该优势随微调提升模型性能而缩小。
OPTIC 方法在 Gemma 4 E4B 模型中实现了约 100 倍的 Per-Layer Embeddings 压缩,保留 97.8% 的基准性能。 该方法将压缩后的模型运行时 GPU 内存减少 29.7%,推理速度最多仅下降 0.40%。
大语言模型在由其他模型生成的数据上训练时,有时会继承与数据无关的特征,这种现象被称为潜意识学习(subliminal learning)。
GIFT 通过梯度分解解决蒸馏与 RL 优化冲突,在数学和逻辑推理基准测试中持续优于强基线模型。 该方法将蒸馏梯度分解为并行安全过滤和正交价值评估分量,结合进度覆盖退火调度实现平滑过渡,在困难数学推理任务上取得最高 9.5% 的相对提升。
研究人员扩展主动推理框架,将模型不确定性处理为关于观测与转移参数的Dirichlet先验信念。通过为每个因子分配冻结的参数先验并推导Bethe联合分布,恢复了信息增益修正项,确立了带信息增益权重的sum-product消息传递算法。
研究证明了在线性残差网络中,宽度与深度的无穷极限在训练过程中保持可交换性。该结果基于 $1/\sqrt{depth}$ 残差分支缩放和 $\mu$P 宽度参数化。 在固定步数的梯度下降配合梯度裁剪条件下,随着宽度和深度同时趋向无穷,网络输出在 $L^2$ 范数下收敛。若无梯度裁剪,则仅确立较弱的依概率收敛。