跳到正文
10月15日周四
  1. arXiv · NLP23

    BabyLM 多语言预训练中语言暴露分布与顺序的影响

    在包含英语、荷兰语和中文的多语言 BabyLM 预训练中,混合训练在 15 种匹配配置中全部优于课程训练,同时多语言表现受语言暴露数量与顺序共同影响。 语言主导型混合训练中的部分配置得分高于均衡配置,且荷兰语主导配置取得最佳整体性能。 该结果表明在当前小规模数据设定下,均衡语言分布并非最高性能方案,同时多语言暴露优于分阶段暴露。

  2. arXiv · ML25

    基于两阶段残差学习的热力学系统建模强度优化方法研究

    两项研究显示,两阶段残差学习框架(TSRL)显著降低了代理模型误差。 在原油蒸馏单元数据中,TSRL 将测试均方根误差(RMSE)从 10.3 g/s 降至 4.7 g/s;在工业燃气轮机数据中,涡轮热速率误差从 151 kJ/kWh 降至 105 kJ/kWh。 该框架通过验证剩余量评估局部建模强度,为热力学系统的安全关键操作提供决策支持。

  3. arXiv · ML31

    Progress-Aware Distillation for Mitigating Stagnation in Small Language Model Agents

    ProD 通过检测并惩罚学生智能体轨迹中的停滞现象,有效缓解小语言模型智能体在长交互中陷入无效循环的问题。 ProD 将教师与学生间的停滞差距编码为自适应边距,在 0.6B 至 8B 参数的 8 个 SLM 上验证,提升了成功率与任务完成效率。 该工作已被 NeurIPS 2026 接收。

  4. arXiv · ML23

    提出用于连续流语言模型的强化学习后训练框架,实现低方差路径梯度优化

    研究者提出面向连续流语言模型的强化学习后训练框架,通过引入 Critic 估计中间 token 嵌入价值,绕过非可微解码步骤获取低方差路径梯度。 该 Critic 能随策略变化动态跟踪价值函数,在四项推理任务中,该框架可靠提升模型性能并优于同类基线方法。

  5. arXiv · ML25

    图像自蒸馏数据密度缩放定律:重复样本的影响

    研究指出图像自蒸馏中样本重复对下游性能的影响是非平凡的且依赖数据集,现有缩放定律存在局限。 在Maxar、ImageNet等7个数据集上,重复训练较小随机子集有时优于训练更大唯一样本集,验证了数据依赖特性。 论文提出修改版Chinchilla风格缩放定律,显式纳入唯一样本数与重复次数两个因素。

  6. arXiv · ML32

    逆推理模型通过仅答案数据实现高效后训练与验证

    提出利用逆推理LLM处理仅答案数据的自蒸馏技术,将CoT视为隐变量,在GRPO训练饱和后单次离线蒸馏可使Qwen3-0.6B在困难提示下的pass@1提升近一倍。 该方法在Countdown任务中全比例优于拒绝采样自蒸馏,且逆模型作为验证器可将best-of-n选择准确率从0.753提升至0.969。 COLM 2026 Workshop论文展示了逆模型在持续后训练和测试时验证的双重应用价值。

10月14日周三
  1. arXiv · ML25

    RAM:一种跨形态的隐式神经可达性表示

    研究人员提出RAM,一种形态条件化的隐式神经表示,用于快速替代位姿可达性计算,能泛化至未知形态并处理自碰撞。 RAM基于3×10¹⁰样本训练,达到84%平衡准确率,推理速度比生成式基线快三个数量级。 该速度优势延伸至下游任务,使形态与轨迹优化加速一至两个数量级,成果已被CoRL 2026接收。

  2. arXiv · ML33

    MosaicMRI:首个大规模开放源原始骨骼肌肉MRI数据集与基准

    研究团队发布MosaicMRI,这是迄今最大的开放源原始骨骼肌肉(MSK)MRI数据集,包含3,150个体积和89,830张切片。 数据集涵盖1.5T核心集与0.55T低场集,在体积方向、成像对比度及解剖结构上具备高度多样性。 实验表明,跨解剖结构混合训练比单一解剖结构训练更优,且增加训练数据量可提升磁场强度偏移下的重建性能。

  3. arXiv · ML46

    RNAGenScape:基于流形 Langevin 动力学的 mRNA 序列生成方法

    RNAGenScape 提出了一种基于流形 Langevin 动力学的 mRNA 序列生成框架,在三个真实数据集上将中位数预测属性增益提高最高 267%,成功率提升最高 31%。 该方法结合自编码器、去噪自编码器和属性引导优化,在保持生物活力指标的同时,实现了与现有生成方法相当的推理效率。

  4. arXiv · ML25

    数值积分伪影在学习动力学系统中的影响

    研究指出,在学习动力学系统时,所选数值积分器的稳定性区域会扭曲识别结果,导致阻尼振荡系统可能被误判为具有“负阻尼”并反转振荡方向。即便数据拟合良好,减小步长或提高显式积分器阶数通常也无法消除该伪影,因为高阶显式方法的稳定性区域延伸至右半复平面。隐式中点法能保留保守或耗散性质,为仅已知系统自治时提供了原则性的积分器选择。

  5. arXiv · AI41

    Auto-AEG:面向开放词汇音频事件定位的可扩展数据构建方法

    该研究提出 Auto-AEG 管道,通过自动数据构建与模型微调解决开放词汇音频事件定位中的数据稀缺瓶颈。 利用程序合成片段提供冷启动监督,并结合真实音频的多模型伪标签强化学习,显著提升大音频语言模型的时间定位能力。 该方法在 AEGBench 等基准测试中展现出显著的时间定位增益,并泛化至多种留出声源检测任务。

  6. arXiv · ML34

    梯度密封原则:预发布 LLM 对抗禁忌能力获取的前置遗忘方案

    针对开放权重 LLM 下游微调风险,研究提出“梯度密封”原则以防止禁忌能力被获取。该方法将相关预激活推至负值区域,利用 ReLU 族激活函数在负区的零或近零导数特性阻断内部路径。 实验表明,相比事后遗忘基线,梯度密封在多个 LLM 家族上展现出更强的下游获取抵抗力,有效提升了预发布保护机制。

  7. arXiv · ML35

    SoFT:用于 LLM 微调的可泛化软目标方法

    针对多领域知识整合难题,提出 SoFT 微调方法以平衡教师演示学习与模型原有能力。 该方法通过设定最低目标概率并最小化 KL 散度变更来学习演示,利用领域梯度预算控制平衡点。 在混合推理和 Agent 任务中,SoFT 取得了分布内能力获取和分布外泛化的最佳整体性能。

  8. arXiv · ML21

    指令微调中提示词与响应监督的条件性 Token 选择:BRIDGE 方法

    在指令微调中,提示词与响应监督的 Token 选择存在耦合效应,现有方法通常独立优化。BRIDGE 方法通过注意力机制路由效用并交替进行预算选择,解决了状态不匹配问题。 在三个模型族和任务域中,BRIDGE 表现最佳,在 Llama-3.2-3B 模型上 MATH 优势随压缩率提升,达到 1.66 个百分点。

  9. arXiv · AI26

    RCD 方法通过无训练引导提升组合扩散规划的长时程轨迹可靠性

    RCD 提出一种无训练引导方法,利用预训练扩散模型的自重构误差作为对数密度代理,结合重叠一致性项,将采样导向高密度全局连贯计划。 在 OGBench 的运动、物体操控及像素级观测长时程任务中,RCD 性能持续优于现有方法,有效缓解了模式平均问题。 该文已被 NeurIPS 2026 接收。

  10. arXiv · AI21

    TurboEvolve: 迈向快速且鲁棒的 LLM 驱动程序进化

    TurboEvolve 提出多岛进化框架,在匹配 API 成本预算下通过 Verbalized Sampling 提升样本效率与稳定性。 该框架引入在线调度器自适应调整候选数 K,并采用岛感知初始化聚类种子程序以平衡多样性与精炼。 实验表明,在数学发现与 GPU 内核优化任务中,TurboEvolve 实现了优于基线模型的成本-质量权衡。

  11. arXiv · ML37

    LatentPress:超越文本与视觉的上下文压缩方法

    提出LatentPress将长文档和对话历史压缩为连续记忆令牌,使冻结解码器直接读取而无需文本重建。该适配器仅需4.2M-26.2M参数(约占解码器0.1%),实现4-16倍压缩;在LongMemEval上7.70倍压缩时准确率达0.504。其优势在于写入速度比文本摘要快约一个数量级(43ms/对话),读取速度比原始上下文快5-9倍。

  12. arXiv · ML31

    Subliminal Learning as Trait-Direction Drift: A Mechanism and Targeted Control under SFT Distillation

    该研究提出特征方向漂移是模型蒸馏中潜意识学习的核心机制,并验证其通过学生端可识别的偏好差距在微调阶段累积为行为迁移。 受此机制启发,论文设计了探测空间走廊正则化方法,在约束漂移的同时保持任务性能,显著抑制了恶意响应和动物偏好等隐性特征的传递。 实验表明,该方法将恶意响应传输率从29.55%大幅降至6.45%,并以极低的准确率代价在Qwen主要设定中持续压制了动物偏好迁移。

  13. arXiv · AI34

    长音频摘要:发布 8,800 条合成医患对话数据集

    研究团队发布包含 8,800 条合成医患对话的数据集,涵盖 1.3k 小时音频及参考 SOAP 记录,旨在补充长上下文音频推理训练与评估。 该流水线基于开源模型构建,经历人格对话生成、多说话人音频合成及 LLM 生成参考笔记三阶段。 评估发现修复 bug 后,级联系统与端到端模型性能相当,幻觉率分别为 22-24% 与 32%。