跳到正文
11月3日周二
  1. arXiv · ML35

    一致性模型训练稳定化:流映射分析与自蒸馏方法

    该研究通过流映射视角分析一致性模型,揭示导致退化解的训练与收敛机制,并提出改进的自蒸馏方法 iSD 及其变体 iSD-T。 iSD 重新表述目标函数以避免过大的梯度范数,iSD-T 进一步结合无分类器引导以提升性能与可复现性。 论文证明该方法不仅适用于图像生成,还可扩展至基于扩散的策略学习,且无需依赖预训练扩散模型初始化。

  2. arXiv · ML26

    深度剪枝小语言模型的能力损伤与恢复:LLaMA-3.2 等模型剪枝修复研究

    对 LLaMA-3.2-1B 等四个 1.2B 级小模型深度剪枝后,函数调用和数学推理能力均严重受损,保留率仅为 0.00 至 0.07。 在修复策略上,对最后三个块进行全量微调比全块使用 LoRA 平均保留率高达 0.18。测试发现,均匀修复策略在同等 3.48M 令牌预算下往往优于规划式修复。

  3. arXiv · ML25

    FADE:用于在线 RLVR 调度的因子化能力-难度过滤

    研究提出名为 FADE 的双线性状态空间滤波器,通过解耦策略能力与题目难度两个时间尺度,优化基于可验证奖励的强化学习调度。 该方法利用 Pólya-Gamma 增广法,在二元 rollout 结果下通过 rank-K Woodbury 步骤闭式更新能力后验,并推导非退化分组概率的效用函数。 在五个推理基准测试中,FADE 在匹配预算下提升下游准确率与校准,每步计算开销增加不足 0.6 ms。

  4. arXiv · ML30

    研究显示 RLVR 仅优化 OLMo-2-1B 答案路径而非推理知识

    RLVR 训练使 OLMo-2-1B 在 GSM8K 的首次尝试准确率从 58.0% 升至 61.3%,但 256 次采样的解题覆盖率仅从 94.5% 微增至 96.9%。 内部探针检测推理错误的 AUROC 保持在 0.798 至 0.840 之间,显示模型未建立更清晰的错误表征;仅在最终答案 token 处探针达到 0.93 AUROC,证实 RLVR 改变的是答案选择偏好。

  5. arXiv · ML23

    精确似然训练:一种用于舍入、有界及截断数值标签的自回归语言模型方法

    提出边界边缘化方法,首次实现自回归语言模型基于舍入、有界及截断数值标签的精确似然训练。 该方法通过固定宽度且保持顺序的数字表示分组连续网格值,利用至多两个长度对数级的边界路径计算精确概率与梯度。 实验表明,该方法可从舍入和截断报告中恢复条件分布,在支持一百万数值时仍能保持计算可行性。

  6. arXiv · ML37

    重参数化下的梯度可靠性:评估梯度基于的决策稳定性

    针对重参数化下梯度不可靠的问题,研究人员提出GRR测试框架,并发现梯度排序与剪枝决策会随参数坐标变化而改变。 在66项GLUE注意力审计中,原始头部梯度排序的前3名重叠中位数仅为1/3;在最大规模的14项全局剪枝审计中,受影响的ELECTRA模型验证精度分别达50.92%和94.84%。

  7. arXiv · ML25

    ISBC:预训练文本嵌入的可解释稀疏二值编码

    研究提出可解释稀疏二值编码(ISBC),从冻结文本嵌入中学习少量无标签二值维度,无需类别标签或下游结果。该方法结合可训练编码器与仿射解码器,通过重建及活跃度、因子利用率等控制项,利用比特及其组合识别文档重叠群组。 实验在混合领域语料库中验证,高频二值特征主要标识来源集合,而特定组合可揭示情感与迁徙差异;二值特征单独即可提升对数变换结果预测,其组合能识别与互动相关的活动内容对比。

  8. arXiv · ML32

    GRAPE 轻量级在线学习框架应对半导体制造中的虚拟计量分布漂移

    研究人员提出 GRAPE 在线学习框架,解决半导体制造中因设备退化导致的时间分布漂移问题,显著提升了虚拟计量模型的鲁棒性。 该框架集成稳定全局预测器与两个轻量级流式适配器,通过在线更新修正特征级和环境级偏移。 在包含时间顺序留出盲测流的两个真实数据集上,GRAPE 的性能优于传统批量学习及现有在线学习基线。

  9. arXiv · ML38

    从粗粒度观测生成预测:级联预测何时有效

    研究利用层级生成参考数据评估概率预测模型在粗粒度观测下的表现。 发现标准扩散模型和随机插值器存在显著分布误差,级联短程预测在湍流和波浪中能大幅降低误差。 提出了可解析的解析模型,表明最优级联深度取决于未分辨尺度与观测尺度间的耦合强度及预测依赖性。

  10. arXiv · ML20

    正交性约束是否优于球面优化助益LLM预训练

    研究表明,在360M至3.1B参数规模下,LLM预训练中的行正交性约束未能在球面优化基础上带来额外收益。 系统测试14种正交变体发现,对称正定因子仅在小模型有效,且下游准确率未区分不同参数化方法。 作者重新检验5项先前的正交性改进研究,发现其增益归因于数值精度或优化器实现,而非正交性本身。

  11. arXiv · ML29

    OCELOT 利用卫星基础嵌入实现行星尺度物种分布建模

    团队提出名为 OCELOT 的多模态隐式神经表示网络,融合空间坐标与卫星基础嵌入,基于 20 亿条 GBIF 记录和 10 万个类群进行训练。 该模型在 600 公里空间块保留测试中,卫星嵌入使地理外推性能较仅用坐标的模型提升 51%,并在标准插值基准上匹配或超越现有基线,证明优化外推未牺牲分布内精度。

  12. arXiv · AI30

    以典型颜色为透镜探究视觉编码器与 VLM 的概念可解码性

    视觉编码器能在去除颜色的灰度图像中解码典型颜色信息,且该信息与其预测的物体身份存在概念联系。 扩展分析显示,完整视觉语言模型(VLM)的后训练对编码器的颜色可解码性有巨大影响。 典型颜色由此成为追踪视觉模型内部物体级概念语义信息的有效且可控的透镜。

  13. arXiv · AI23

    功能兼容性作为持久神经学习的决定因素

    研究发现功能兼容性是神经网络新学习能否持久的关键因果因素。 实验在相同初始状态下改变兼容性,结果显示在卷积、Transformer 架构及视觉文本任务中,持久性随兼容性增加。 该发现将稳定性-可塑性研究重心从防止遗忘转向确定哪些新学习能与现有功能共存。

  14. arXiv · AI38

    FRAG 预测 LLM 重学习鲁棒性:遗忘-保留对齐缺口比距离更有效

    论文提出无训练预测器 Forget-Retain Alignment Gap (FRAG),通过评估更新中遗忘关键权重与保留关键权重的对齐程度,比全局权重位移更可靠地预测 LLM 机器遗忘的鲁棒性。 研究基于遗忘关键、保留友好的原则,提出 Forget-Retain Pruning (FRP) 技术以增强模型抗重学习能力,结果表明权重选择性比单纯距离更能解释鲁棒性。

  15. arXiv · AI30

    FWS:面向视觉语言模型强化学习的忠实预热策略

    针对视觉语言模型(VLM)在强化学习训练中因忽视视觉证据导致推理不稳定问题,提出“Faithful Warm-Start (FWS)”策略。 该策略通过六个通用 VQA 基准构建 FaithfulQA 数据集,利用 VLM 裁判确保因果一致性,在稀疏奖励 RL 前提供视觉接地预热。 实验证明 FWS 提高了答案准确率,稳定了 RL 训练过程,并显著减少了缺乏视觉支持的推理链条。

  16. arXiv · AI63

    ReClaim 利用全国医疗索赔数据构建医疗基础模型

    ReClaim 是基于 MarketScan 数据库 438 亿条索赔记录构建的医疗基础模型,在超过 1000 种疾病的预测中平均 ROC-AUC 达到 0.769。该模型在预测下一年度支出和识别高需求高成本受保人方面均优于梯度提升模型,且其表征作为协变量时能改善随机对照试验基准下的效应估计。

    推荐理由:原文给出了438亿条医疗索赔数据训练基础模型的方法,读者可据此理解其在真实世界疾病预测中的表现。

  17. arXiv · AI26

    多模态视觉语言模型中的类人区域适应性框架

    研究提出“类人区域适应性”范式及GG-EZ方法,通过区域数据过滤和模型合并优化模型的区域相关性。 在大型视觉语言模型、文生图扩散模型和视觉语言嵌入模型等3种架构上的实验显示,该方法在东南亚地区文化相关性指标上提升5-15%,同时保持98%以上的全球性能。 该研究为多模态视觉语言模型在多样化地区的适用性建立了基础范式。

  18. arXiv · AI32

    LLM 科学发现能力与训练数据中 monofact 率的关联研究

    研究揭示 LLM 的科学发现能力受训练数据中 monofact 率支配,直接操纵 monofact 频率可显著提升发现数量。 在材料科学和监管基因组学中,跨两个开源模型族、多种采样策略和推理预算的实验表明,更高的 monofact 率一致产生更多发现。 该关系无法仅由训练集多样性解释,但在搭配领域内数据时可跨科学领域迁移。 ```