跳到正文
10月7日周三
  1. arXiv · ML22

    表型活性能否在无实验读数下被预测?

    针对 CLOOME 和 CellCLIP 等预训练分子编码器在预测表型活性时可能存在的性能虚高问题,研究通过控制预训练数据泄露和毒性相关混淆变量进行了评估。 测试显示,在控制上述混淆变量后,预训练分子编码器相对于简单的理化描述符并无明显优势,且毒性通常比表型活性更容易被预测。 研究建议,在将表型预训练编码器用于药物发现前,应将其纳入考虑数据泄露且控制混淆变量的标准评估流程。

  2. arXiv · ML28

    特权上下文作为在线策略自蒸馏中的策略漂移

    研究发现,在在线策略自蒸馏中,特权上下文的内容选择比来源选择对策略漂移的影响更大。 使用 Qwen2.5-7B 模型进行验证,内容变化导致的 KL 散度中位数范围是来源变化的 5.1 倍,且共享内容的参数更新余弦相似度更高(0.571 vs 0.255)。 这表明应将特权上下文视为在线策略自蒸馏稳定性设计的一部分,因为它决定了策略移动的幅度和方向。

  3. arXiv · ML34

    αTransfer 提出基于代理模型的系数迁移,实现高效模型合并

    αTransfer 利用同族模型合并系数性能分布相似性,在小代理模型搜索最优系数并迁移至大模型。 在视觉 Transformer 上实现 6 倍加速、70% 内存节省,在大语言模型上实现 20 倍加速、85% 内存节省。 该方法在保持性能可比的情况下,确立了扩展模型合并的高效且具泛化性的路径。

  4. arXiv · ML20

    结合有监督与自监督表示的图分布外学习新框架

    Co-Train 和 Dual-Space Retrieval 两个框架通过结合自监督与有监督学习,显著提升了图神经网络在分布外节点分类任务中的泛化能力。 方法利用 DGI 和 GRACE 自监督目标,在训练阶段自适应融合或在推理时进行非参数检索,并在四个基准数据集上验证了优势。 实验证明自监督表示提供了互补信息,增强了模型在时间推移和跨领域分布变化下的稳健性。

  5. arXiv · ML23

    TAFFY:具备上下文多样性的任务自适应表格基础模型

    TAFFY 是表格基础模型,在 6 个分类和 5 个回归基准数据集上取得最低平均排名。 模型采用上下文多样性先验和任务条件循环 Transformer,通过从受控干预和分布偏移的多环境采样增强任务自适应表示学习。 该设计使模型能从上下文对比中识别预测关系,并为各任务动态调节上下文融合。

  6. arXiv · ML27

    GRADE:面向小语言模型 LoRA 微调的梯度准入方法

    针对 LoRA 微调小语言模型存在的梯度冲突与子空间饱和问题,提出数据中心框架 GRADE。该框架利用状态感知选择器引入对齐样本,并通过步级门控拒绝破坏性覆盖更新。在三个当前代主干模型及七数据集混合池上,GRADE 在准确性和鲁棒性上优于强基线,是唯一在每种架构上都一致优于标准 LoRA 的方法。

  7. arXiv · ML31

    **title_zh**: 激活去噪:从鲁棒性视角重新审视并行与顺序 LLM 量化

    **summary_zh**: 研究人员提出激活去噪(activation denoising)方法,解决 LLM 量化中并行法误差累积的问题,在单次并行遍历中恢复顺序量化的大部分优势,时间成本仅为其几分之一。 该方法将上游误差建模为噪声,通过预处理与指标加权舍入施加鲁棒性正则化,形成随深度复合的光滑惩罚项以抑制误差放大,且与正交旋转的效果可叠加增强。

  8. arXiv · ML25

    What pass@k 无法衡量:后训练后的多样性与能力保持评估

    pass@k 协议无法检测模型输出多样性,Qwen2.5-1.5B-Instruct 后训练中该缺陷显著。 GRPO 与 RFT 训练使多样性指标反向变化,且该差异在仅保留正确样本后仍存在,排除了准确性单独解释的可能性。 pass@1 是唯一能显著区分训练组别的指标,但仅奖励正确解多样性最低的组合,突显了现有评估标准的局限性。

  9. arXiv · ML31

    时序基础模型中的尺度不变训练

    研究提出尺度不变训练(ScaleIn),通过在对缩放目标上计算损失解决时序基础模型训练中的尺度污染问题。 该方法在 GIFT-Eval 基准上将平均 MASE 降低 18.8%,在 M-competitions 上降低 21.9%,仅需一行代码即可实现。

  10. arXiv · ML28

    DANGER 研讨会:数值方法、机器学习与评估的三大教程

    2026年4月BIRS的DANGER研讨会推出三大教程,涵盖数值计算与机器学习在数学研究中的应用。 教程分别发展微分形式的外微积分数值方法、利用椭圆曲线等数学结构指导神经网络设计,以及机器学习结果的评估与呈现。每篇教程提供配套笔记本和练习,支持读者复现示例并适配其他问题。

  11. arXiv · ML22

    利用 Git 仓库构建 ResearchTrails 数据集以学习科学探索决策轨迹

    研究团队推出 ResearchTrails 数据集,利用 Git 仓库的提交历史作为人类科研探索轨迹的代理,填补现有语料库中缺乏过程性数据的空白。 该数据集通过自动化管道从代码仓库中提取方法、实验和消融实验的序列变化,捕捉了最终论文未揭示的中间决策信号,可用于测试时检索科研经验或训练模型以提升泛化能力。

  12. arXiv · ML40

    DART-ES:面向大语言模型进化策略微调的难度感知重加权与目标重放方法

    DART-ES 通过难度感知重加权和目标重放,在五个基础模型上将平均准确率从 72.07% 提升至 73.53%,超过 GRPO 在 GSM8K 上的 73.26%。 该方法仅用前向计算实现全参数微调,无需额外难度模型或反向传播。相比 GRPO,单步运行时间减少 15.2%–50.2%,单 GPU 峰值显存降低 21.1%–51.1%。

  13. arXiv · ML26

    基于末端测试数据的传输系统无监督监测框架:Ford Motor Company案例研究

    提出一种面向高维数据的多变量无监督监测框架,在Ford Motor Company生产环境中验证。 框架采用非线性降维与控制图法进行异常检测,无需预定义阈值或深度学习模型,适应低延迟与可解释性需求。 相比现有模型,准确率从0.50提升至0.625,召回率从0.30升至1.00,F1分数从0.429提升至0.769。

  14. AWS Machine Learning Blog26

    Amazon SageMaker HyperPod 管理与治理最佳实践

    Amazon SageMaker HyperPod 支持多团队共享集群计算资源,其核心治理挑战在于明确权限、容量分配及问责机制。 系统通过组织、项目、集群、工作负载四层控制实现治理,支持将 HyperPod 集群连接至 SageMaker Unified Studio 项目工作区。 该模式分离了基础设施团队对集群的管理权与机器学习团队在项目上下文中的计算使用权,确保共享可见性下的访问控制有效。

10月6日周二
  1. arXiv · NLP23

    GraphForge 通过图锚定工作区合成训练工作智能体

    GraphForge 是一个基于证据图的框架,通过合成真实文件工作区和可验证任务来训练工作智能体,其任务与评分标准均锚定于文件。 微调 Qwen3.6-27B 模型后,GDPVal 分数提升至 1445.7,Workspace-Bench-Lite 和 SpreadsheetBench II 分别达到 63.7 和 24.0。 该框架证明了图锚定评分标准能有效筛选轨迹,实现所有基准测试的性能提升。

  2. arXiv · NLP36

    MIST:基于模型内部显著性的思维链Token压缩方法

    MIST方法通过定义模型内部残差流中的必要性(necessity)和充分性(sufficiency)两个维度,统一评估思维链中每个推理Token的重要性,从而指导压缩策略。 该方法在4个推理基准和4个模型上持续优于基线方法,证明模型内部显著性可作为推理Token重要性的有效代理指标,有助于降低长推理带来的推理成本。

  3. arXiv · NLP36

    将 token 训练模型蒸馏为字节级模型

    论文提出一种高效蒸馏配方,可将现有的 token 训练 LLM 转换为 BLM,且保留可比能力。 该方法采用两阶段课程:先通过渐进知识蒸馏对齐字节级表示,再进行字节级微调,仅用约 125B 字节即可在 Llama、Qwen、OLMo 等模型族上保持教师模型的大部分性能。

  4. arXiv · NLP29

    Un-OPD:面向块扩散语言模型的无偏在策略蒸馏框架

    Un-OPD 框架提出无偏在策略蒸馏方法,解决块扩散语言模型中因边界错位和内禀优化偏差导致的训练不稳定问题。 该框架引入边界感知步骤过滤策略消除上下文错位解码步,并通过支持再平衡置信度校准缓解过度自信崩溃。 实验表明 Un-OPD 在数学推理和代码生成基准上性能优越,且将训练时间缩短约一半。

  5. arXiv · NLP23

    Belief-Trajectory Energy: 测量预测路径

    引入 Belief-Trajectory Energy(BTE)度量 LLM 逐层预测修正轨迹。BTE 提供标量或深度分布信号,理论对应 Fisher-Rao 几何下的预测修正。实证显示 BTE 在推理任务中提供难度信号,支持人-LLM 审核检测,八向生成器归因准确率 95.6%,macro-AUROC 高达 0.998。

  6. arXiv · NLP21

    LLM 能否区分粘贴内容与用户语音?SEAM 基准揭示未标记提示缝隙中的吸收现象

    该研究针对大语言模型(LLM)将用户后续注释误并入粘贴文本的现象(吸收),引入了包含 300 个编辑示例的 SEAM 受控基准。 在 20 个模型中,仅用换行符分隔时吸收率高达 7.7% 至 66.7%,添加空行无显著改善,而 19 个模型在添加边界标记后吸收率下降,17 个模型对代码注释等贴合文本吸收更严重。 实验表明明确边界虽能降低但无法消除这一失败模式。

  7. arXiv · NLP43

    IdeaScientist:通过智能体编排实现基于证据的科学灵感生成

    IdeaScientist将研究构思分解为间隙查找、创新和报告写作三个角色,并利用强化学习训练,以Qwen3.6-27B为基座模型。 构建包含277万条分解研究想法的Svalbard Idea Vault语料库用于检索,在限制文献访问截止日期的评估中,该模型比最强开源基线高出14.0%,并超越Claude-4.8-Opus和GPT-5.4。

  8. arXiv · AI22

    RelationVGGT:面向 3D 空间关系分割的视觉几何 Transformer

    RelationVGGT 提出前馈式、无需相机位姿的 3D 空间关系分割框架,给定视觉指定的主体和关系文本查询,即可跨视图分割目标,且不接收其类别名称。 该框架融合视觉基础模型的语义特征与 3D 几何基础模型的几何感知表示,并用关系 Transformer 做主体条件化的跨视图关系预测,无需逐场景优化。

  9. arXiv · AI24

    TRACE:训练时报告引导与临床有序概念编辑框架,实现仅图像乳腺超声诊断

    TRACE 是一个训练时报告引导框架,利用结构化放射报告作为特权概念监督,在测试时仅凭图像即可完成乳腺超声诊断,并引入 SCMT 与编辑蒸馏训练图像自编辑器。 该方法在恶性感知的有序概念空间内通过教师引导编辑机制精炼图像概念,同时提出概念增强基准 BUSC,关联图像、标签与结构化属性。 实验显示 TRACE 在多个数据集上性能更优,跨域鲁棒性提升,已被 ACM MM 2026 接收。