e-means:在十分之一轮次内超越 k-means
论文提出 e-means 算法,采用指数移动平均优化 k-means 小批量更新。该算法在 1.4 至 2.6 个 epoch 内达到 Lloyd k-means 25 个 epoch 的损失水平,实现 10-45 倍 GPU 加速。 示例显示 e-means 仅需 2.5 个 epoch 即可将 100 亿个 DINO embedding 划分为 1600 万个簇。
论文提出 e-means 算法,采用指数移动平均优化 k-means 小批量更新。该算法在 1.4 至 2.6 个 epoch 内达到 Lloyd k-means 25 个 epoch 的损失水平,实现 10-45 倍 GPU 加速。 示例显示 e-means 仅需 2.5 个 epoch 即可将 100 亿个 DINO embedding 划分为 1600 万个簇。
研究在 22 个 TDC ADMET 数据集上对比了 11 种校准不确定性量化流水线,旨在评估基准的可分辨性。 采用嵌套五折交叉验证,MC dropout 平均排名最佳,但 TDC 性能上未显著优于其他集成方法,LightGBM 在部分指标未落选。 小型评估易得出不同结论,需通过多化学分割的统计检验校验比较声明。
针对非IID数据下联邦学习通信开销问题,论文评估了Power-of-Choice、Fisher information和Centered Kernel Alignment三种客户端选择策略。
该综述系统阐述如何借用统计物理语言,如平均场、相变和自由能景观,解释深度网络在高维非线性系统中的学习与泛化机制。 文中梳理了宽网络的平均场分析、损失几何视角、基于随机梯度的动态过程,以及将过参数化和表征变化归纳为相类比的近期进展。 作者将这些分散的线索整合成统一的物理框架,旨在厘清各类近似适用边界,并解释确定性优化与随机优化之间的关联。 ```
COMBIO 管线将机器学习模型蒸馏为闭式复合生物标志物,由五项实验室测量值以 -2 至 2 的整数幂相乘构成。 Shapley 值辅助筛选候选项,跨六项任务评估中 AUC 与逻辑回归差异不超过 0.03,医院死亡率外部验证 AUC 达 0.698。 该表示法侧重紧凑性而非精度提升,临床使用前需进行本地验证与校准。
视觉语言模型少样本适配面临梯度估计噪声大的问题,SignSparseSGD 和 DynSignSparseSGD 通过仅保留少数梯度符号进行更新,无需优化器状态。 在 11 个数据集、3 种 CLIP 主干和 5 种 shot 水平上,这两种优化器表现优于或持平现有基线,且对长训练周期不敏感。 方法具有强通用性,无需任务特定模块,单一配置即可跨场景适用,代码将随论文发布。
该研究提出了 SZO-κ 方法族,通过推导来自前向传播激活几何的零阶搜索方向,替代了传统的盲随机噪声。 SZO-κ 的方向在显式随机假设下解决了基于局部响应的梯度猜测目标,探索了更可能产生信息性损失响应的特征支持方向。 实验在多层和卷积神经网络中分析了该方法与标准扰动基准及反向传播相比的梯度对齐、偏差-方差结构和训练稳定性。
研究提出针对 VLM 蒸馏的 Hide to See 框架,通过掩码技术解决长思维链中的视觉遗忘问题。 该框架包含 token 级显著前缀掩码和自适应性掩码预算调度策略,实验结果显示其在多模态推理基准测试中优于近期开源 VLM 及自蒸馏方法,有效增强了视觉信息利用率。
研究引入 Negation Neglect 现象,指出在标记为虚假的文档上微调 LLM 会使其相信该虚假声明为真。实验显示 Qwen3.5-397B-A17B 的平均信念率从 2.5% 激增至 88.6%,且该偏差延伸至虚构标签和恶意行为模仿。
推荐理由:揭示了模型微调中否定信息失效的系统性偏差,并展示其对恶意行为仿真的安全隐患。
研究表明,通过放大模型规模(upscaling)比标准继续预训练更高效地适应该语言,尤其能缓解容量限制,显著提升资源较丰富语言的目标性能。 对于低资源语言,在英语基础上先进行初步放大步骤有益;而在高资源场景下,直接在目标语言上进行放大计算效率更高,但可能牺牲数据效率。 该文发表于 Findings of AACL-IJCNLP 2026,系统验证了不同放大策略在多语言场景下的效率与性能权衡。
ResQAdam 提出残差保持自适应优化,将 QAT 优化器状态内存降低 71% 至 74%,训练吞吐量损失低于 2%。 该方法保留单 BF16 动量,对主子空间应用 Adam,并对残差执行归一化符号更新。 ResQAdam 支持 2 位权重量化,在多种 QAT 方法中表现接近 AdamW。
视觉语言模型中存在“潜意识学习”,教师模型的隐藏偏好可通过无关任务数据传递给学生模型。在 2B 至 7B 参数的模型中,学生模型在无关任务上的偏好转移最高达 10 个百分点,且随训练数据增多而增强。
该方法在图文指令、文本推理等任务上显著超越随机选择与全量数据训练,有效降低大语言模型及多模态大模型微调中的算力与存储成本。 论文已发布,代码将在论文被接收后公开。
研究提出RuACT框架,将非活跃评分标准转化为自适应教师或批评者,解决RL中评分标准失效问题。 在Qwen3-4B医疗训练中,非活跃观测占比60.88%;引入框架后,不可达评分标准的无引导恢复率从35.02%提升至42.86%。 代码已开源,该框架在医疗与科学基准测试中全面超越GRPO等基线方法。
递归自训练使英语 GPT-2 词汇量减少但常用虚词主导性降低。在 9 代训练中,随着采样温度升高,最小熵、碰撞熵、Shannon 熵和观察丰富度依次发生从损耗到增益的交叉。第 9 代词汇类型减少 24%,但碰撞熵高出 0.91 bits。研究建议在固定预算下报告熵轮廓及独立质量指标。
在参数服务器框架上提出的混合双批次与循环渐进学习方法,旨在平衡CNN大模型分布式训练的效率与泛化能力。 方法通过结合硬件支持的最大批次以利用计算资源,同时引入较小批次以提升模型泛化;配合循环渐进学习逐步增加图像分辨率以压缩训练时间。 在ResNet-18实验评估中,该方法使CIFAR-100准确率提升3.3%、训练时间缩短10.1%,并将ImageNet训练时间缩减34.7%。
研究者引入神经随机(NS)模型,从粗粒化 MD 轨迹预测膜蛋白集体扩散,生成延伸至 40,000 帧的长时程轨迹。模型结合 Transformer 表示、多时间尺度循环网络及随机潜变量过程,在七通道 PIEZO 系统中复现异常扩散指数 $\alpha \sim 1$,改善以往变分自回归模型的超扩散行为,并能捕捉 PIEZO 与 TREK 混合系统的不同扩散特性。
Reward Budgeting 是一种即插即用的优势构建方法,能缓解 LLM 推理强化学习中的过早收敛现象。 在 Qwen3-8B 和 Llama3.2-3B-Instruct 上,该方法稳定提升基线性能,AMC23 提升达 +12.50,AIME24 与 AIME25 提升达 +10.00。 该研究被 NeurIPS 2026 接收,证实无需显式保持熵即可获得显著增益。
研究发布 JudgmentBench 基准,包含 30 项法律任务及 1,539 条评分与 1,530 条偏好判断,旨在对比两种评估方法。 数据显示,偏好判断在恢复质量排序上优于评分标准,平均 Spearman 相关系数达 0.908 对比 0.150,且标注时间少于一半。 该配对数据集支持在高专业度领域研究专家判断的获取与聚合方法,相关成果已被 NeurIPS 2026 接收。
持续后训练中的强化学习 (RL) 仍会遭遇灾难性遗忘。研究指出其根源在于 KL 正则化在旧任务分布上评估。 该方法提出了无需重放 (replay-free) 的 CPO,通过基于历史 KL 目标的局部 Fisher 代理实现稀疏正则化,且额外计算开销极低。 在三种模型规模的实验中,CPO 在保持适应能力的同时,有效减少了遗忘并维持了预训练模型的广泛能力。
团队提出新方法在预训练和中训练阶段引入安全、事实性和推理行为,利用强模型重写数据并评判策略模型。 该研究引入“自我改进后思考”概念,通过生成后推理提升模型自身推理与判断能力,实验显示在多维度带来性能提升。 arXiv:2601.21343
提出 KOFF 框架将预训练 LLM 分解为稀疏共享主干和领域特定外部记忆模块。 在 Llama 和 Qwen 3B 至 14B 模型中,卸载 12% 至 20% 容量仍可保留高达 90% 的 MMLU 性能。 语言特定神经元被优先移除,验证了知识可从 LLM 核心重新分配至可互换记忆。
FILO 框架通过统一 Fisher-几何视角解决 LoRA 优化器中雅可比矩阵秩亏导致的奇异算子反转难题,将现有方法归纳为四个技术流派。 其实现 FILO-Adafactor 采用 Adafactor 对角 Kronecker 预条件器,在因子空间求解的内存复杂度为 O((m+n)r)。
研究揭示被动收集的多源异质思维链(CoT)数据即使单源学习容易,整体学习仍具密码学难度。 难度源于难以学习的贡献偏差或未过滤的混合数据,但过滤后的同质子集足以支持高效学习。 提出一种主动且自适应的高效算法,其按源 CoT 预算与目标误差完全独立,指明了 CoT 监督的数据收集与策展实践。
Nexus 优化器通过最大化梯度相似性鼓励任务特有时隙接近,在相同预训练损失下显著提升下游性能。 该优化器应用于 130M 至 3B 参数模型,在 3B 模型上将分布外损失降低 0.012,复杂推理任务准确率提升最高 15.0%。 该研究挑战了仅依赖预训练损失评估模型的做法,并证实隐式偏置对解锁下游泛化能力至关重要。
研究人员提出首个能整合多目标用户信念的超参数优化算法PriMO,旨在解决现有算法无法利用专家先验知识的空白。 该算法在8个深度学习基准测试中实现了多目标及单目标场景下的最先进性能。 研究还验证了PriMO在大规模视觉语言模型上的优化效果,确证其在三目标优化任务中保持前沿表现。
针对基于深度学习的全局预测模型,研究形式化了序列级交叉验证(Series-wise CV),并在 11 个数据集、10 种神经网络架构上对比了 K-fold、Bootstrapping 等方法。
MIIB 基于 Partial Information Decomposition 提出多模态自监督学习框架,显式编码冗余、独特及协同信息。 采用双路径架构进行模态编码与融合,利用熵目标优化以获取最小充分表示。 实验显示 MIIB 在多样化基准上持续优于最先进的多模态自监督方法,代码已开源。
研究通过专家剪枝发现,英文校准无法有效迁移至立陶宛语。在 25% 剪枝率下,立陶宛语阅读理解的中等降幅达 21.4 分,远高于英文的 1.7 分。 模型在最终层表现出不对称路由:立陶宛语 55-72% 的专家选择集中在 8 个专家上,而英文仅为 19-39%。使用立陶宛语校准可保留 2.5 分更高的英文理解能力,证明压缩模型需按服务语言进行独立校准。
研究人员发布 OPRD-Imp 数据集,收录 229 个有机反应及 784 条杂质记录,用于填补反应杂质预测领域公开基准数据的空白。 数据源自 62 篇《有机工艺研究与开发》文献,由化学家按标准化协议手动提取。
提出 ShapleyOG 方法,利用奇高斯过程将自适应 Shapley 值估计的计算开销降低最多三个数量级。 该方法仅基于奇组分进行代理拟合,配合稀疏重拟合并扩展求积计算方案,在实验精度上匹配 ShaplEIG。 这使得单次评估仅需 0.1 秒且预算为数千次时,即可超越非自适应 SOTA 估计器。
论文提出 PAAI 框架,用于分析 AI 评估基础设施的权力分配及独立评估能力。该框架考察权力、访问、充分性和独立性四个维度,并应用于 12 个非洲 AI 评估项目(2022-2025 年)。
提出了一种针对细胞类型的神经算子框架,用于可扩展的神经元群体建模。该框架学习同一细胞类型内多个神经元的共享算子,并以可解释的生理特征为条件,替代了传统的单神经元代理模型。
针对在线策略蒸馏中教师指导不可靠及top-k支持集丢弃概率质量的问题,提出O²PD方法。 方法将蒸馏限制在学生生成轨迹前20%的token上,并引入Reset Support和Support Convergence策略,利用重叠门控α-散度在覆盖与寻模之间自适应插值。 该方法从理论上解决了教师支持集未覆盖及主导模式不匹配问题,提升了基于前缀的对齐可靠性。
summary_zh: 该教程通过22个混淆矩阵指标和15个场景,解析类别流行度、阈值及聚合规则对评估结论的影响。 包含概率校准(如ROC-AUC 0.825下校准斜率2.08-0.52)、回归及一致性检查;提供基于目标的指标表与报告清单。
DMGT将决策模型用于初始化强化学习策略,让智能体在稀疏奖励任务中首次交互即获取奖励。 该方法结合了决策模型无需训练即可行动与强化学习依靠奖励优化的优势,实验表明其在7个任务中表现均优于纯强化学习。 消融研究为向决策模型描述环境和任务提供了指南,解决了探索困难与样本低效问题。
该研究在伯努利推理任务中,通过四种文本路径和两种激活级干预,测试了三个开源权重语言模型的信念更新机制。 发现证据格式决定读取方式:结果序列主要影响续写,摘要和比率影响显式估计。不同路径的有效证据权重差异显著,摘要权重随观测数弱扩展。 结果表明,当前读取的一致性不足以确立信念更新的等价性,信念获取与读取方式共同决定其后续动态。
研究证明混合软提示微调能提升开源 LLM 裁判与人工标注的一致性,Qwen 3.5 9B 经过调整后在偏见、毒性、个性化维度超越托管参考裁判。 方法基于 FairBotBench 基准训练,结合文本提示与学习连续提示嵌入,在 CONVERSATIONS 2026 研讨会上作为预印本发布。
研究发现稀疏自编码器(SAE)训练时,激活缓冲区扩大至特定平台期后,继续增加独一激活量对重建与可解释性提升有限。建议在达到质量平台期后复用缓冲区,可显著降低存储开销。
研究显示,在 GPU 训练故障诊断基准测试中,GRPO 带来的分布外收益有限,主要增益来自监督微调。 使用 1,877 个合成任务构建的基准测试中,SFT 达到 0.785 分数,而 60 步 GRPO 仅带来 0.33 点的分布外提升。 该研究以 8.69 美元算力成本完成,所有代码和生成数据已归档,支持完全复现。