跳到正文
10月9日周五
  1. arXiv · ML33

    AdaptLSTM:面向分布漂移下云负载预测的高效自适应在线学习框架

    AdaptLSTM 提出一种通过验证校准阈值检测分布漂移并实施选择性更新的高效在线学习框架,适用于云负载预测。 在 Alibaba Machine Trace 数据集上,该方法以 20% 的成本恢复了 Naive Online 54% 的性能提升,效率提升 2.7 倍;在 Container Trace 上达成 96% 恢复率,效率提升 4.8 倍,MAE 降低 75%。

  2. arXiv · AI22

    AtomWorld-Mirror:面向材料动力学的关键演化骨架宏观步世界模型

    AtomWorld-Mirror 提出一种时间感知宏观步世界模型,用于原子系统关键演化骨架模拟。 该模型将短微观事件蒸馏为关键状态间可达转移,通过潜在宏观动力学联合预测结构编辑与物理时间。 在 Cu-Zr 金属玻璃等五个原子系统中,宏观步推理较逐事件模拟实现 $10^3$ 至 $10^4$ 倍加速。

  3. arXiv · ML22

    表格基础模型测试时计算:机制、增益与局限性

    研究系统分析了适应、聚合和上下文构建三种测试时计算机制对表格基础模型预测的影响。 DiagScale 仅训练模型 0.003-0.03% 的参数,其增益可与全量微调相比。在 96 种配置的聚合中,贪心选择使误差相对降低 2.4%,但均匀平均反而增加误差。 适应和选择性聚合带来一致的基准层面增益,且二者结合可进一步提升效果。

  4. arXiv · ML22

    DADP: 一种受反向 Hebbian 启发的动态活动依赖结构剪枝方法

    DADP 通过测量突触前激活与突触后误差梯度乘积来动态分配稀疏度,无需逐层固定稀疏预算。在 ResNet-18 上实现 99% 稀疏度时保留 73.67% 准确率,优于 Magnitude 和 SNIP。 该方法在 MLP、VGG-16、ResNet-18、BiLSTM-CRF 和 MiniBERT 架构上验证了性能,并通过香农熵确认极稀疏下特征多样性未崩塌。

  5. arXiv · ML21

    QuotientPO 如何通过商空间探索提升基因组规模代谢模型修复效率

    QuotientPO 将等效修复折叠为规范机制,在商空间直接优化探索,在 2,212 个保留 GEM 上将 Success@32 从 17.93% 提升至 20.10%(相对提升 12.1%)。 该框架推导了核化 Rényi 估计器以解决修复核心间的分级拥挤问题,并在相同采样预算下持续增加不同成功核心的发现。 这一方法确立了商空间探索作为在验证器诱导等价条件下进行机制级探索的原则性路径。

  6. arXiv · ML26

    个性化联邦 LSA 中 PF-LSA 算法实现速度与个性化的双重优化

    研究提出 PF-LSA 算法,实现个性化联邦线性随机逼近在未知异构度下既达成线性加速又保证个性化收敛,无需额外计算成本。 该算法通过混合本地随机更新与跨智能体平均更新,基于误差分解证明共识误差快速衰减、异构误差在低异构度下可忽略,确立 best-of-both-worlds 保证。

  7. arXiv · ML26

    Zatom-2 发布:基于原子数据的多任务预训练生成模型

    Zatom-2 发布,作为在约500万条OMol25和OMat24数据集上预训练的原子生成模型。 该模型采用多尺度Transformer架构与条件流匹配,在分子分布保真度和现有分子/材料生成基准测试中表现优于Zatom-1。 通过联合生成-预测预训练及微调,Zatom-2将蛋白质骨架可设计性从67.8%提升至74.8%,增强低数据场景下的蛋白质生成能力。

  8. arXiv · ML21

    低成本室内空气质量监测传感器校准:数据集、评估场景与轻量模型

    研究人员提出一种结合输入窗口压缩与残差时间特征融合的轻量级时序模型,用于低成本传感器校准。 模型基于涵盖五个地点、为期六个月的室内空气质量数据集构建,在四种评估场景下均表现出优异的校准性能。 该方法有效解决了传统成对校准忽视时空异质性的局限,并在边缘端推理中保持低成本。

  9. arXiv · ML35

    RideBench:面向网约车时间序列预测的大规模外生感知基准

    发布基于滴滴市场数据合成的大型网约车时间序列数据集 Ride-Hailing 及基准 RideBench。 该数据集覆盖 200 个空间区域、4 年数据及 3 类外生场景,RideBench 评估 30 余种预测方法,支持长达 2,688 步的预测。 研究发现现有模型在利用未来已知外生信息及长期预测方面存在明显不足,需提升跨异构区域扩展能力。

  10. arXiv · ML35

    LLM 持续学习中通过奇异向量选择实现稳定性-可塑性平衡

    研究提出 SVC 方法,通过选择性更新奇异向量通道来优化 LLM 持续学习,兼顾新能力获取与预训练知识保留。 该方法利用膝点成本筛选、Pareto 前沿过滤和 Otsu 阈值化,基于适应收益与遗忘成本自适应选择可训练通道。 在四组 LLM 家族和八个下游任务实验中,SVC 相比现有 PEFT 基线在保留预训练能力的同时实现了强劲的下游性能。

  11. arXiv · ML21

    KDFP 方法提出

    KDFP 是一项新的白盒知识蒸馏方法论,用于在大型语言模型中提取通用知识。 在 9 个基准测试中,该方法性能提升 1.6% - 4.9%,同时训练效率最高提升 99.1%。 KDFP 有助于开发可在边缘设备部署的高效、隐私系统。

  12. arXiv · NLP21

    Meddies-PII:用于临床去标识化的多语言个人身份信息提取框架

    Meddies-PII-Model 在15个外部基准上取得最高性能,平均 F1 为0.827,强于最强基线的0.658。 该模型基于包含100万份合成临床文档、覆盖17种语言的 Meddies-PII-Dataset 训练,数据通过13个确定性门控验证。 团队承诺在论文被接收后,公开发布数据集、模型及生成框架,以支持多语言临床去标识化研究。

  13. arXiv · NLP26

    能力驱动的多模态缩放定律:VLM 预测 VLM 性能

    论文提出 Capability-Driven Multimodal Scaling Law 框架,利用 LLM 文本能力预测 VLM 基准准确率,无需训练即可预测。 通过 34 个 LLM 训练 150+ 个 VLM,在 250+ 个基准上验证,能精准预测不同参数规模及未见过的模型家族表现。 该框架将骨干模型选择从低效的经验扫描转变为量化的科学决策,并揭示基准作弊现象。 ```

  14. arXiv · NLP27

    原生多模态预训练的从零缩放特性研究

    针对固定算力预算下的 Transformer 视觉语言模型,研究发现最小目标损失遵循可预测的计算法则,而计算最优的模型规模与 token 数量呈幂律分布。语言与多模目标呈现不同分配趋势,多模态模型分配指数随多模态 token 比例增加而适度下降,转向 token 分配。下游评测显示,原生多模态预训练能提升空间推理能力并改善多模态少样本学习表现,为多模态基础模型的可预测缩放奠定实证基础。

  15. arXiv · NLP23

    LoRi:用于隐式推理的低秩蒸馏

    研究者提出 LoRi 低秩蒸馏框架,在 LLaMA 和 Qwen 模型族上显著提升数学推理性能,接近显式 CoT 准确率并优于既往隐式方法。 方法基于隐藏状态推理轨迹的低秩结构,利用一阶和二阶统计量对齐师生轨迹于共享低秩张量子空间,适用于多步骤困难任务。

  16. arXiv · NLP40

    GAP 方法论评估 LLM 数学推理鲁棒性:基于数学等价变换的基准测试

    研究团队提出 GAP 方法论,通过表面重命名和内核重写生成数学等价变体,以诊断 LLM 推理失败原因。 在 PutnamGAP 数据集上评估 18 款模型,发现准确率随变换类型下降,内核重写导致最大性能缺口,且强模型未能弥合该差距。 这表明最强 LLM 的核心弱点在于将证明计划迁移至新的数学背景,而非处理表面符号变化。

  17. arXiv · NLP22

    Optimal Transport Depth Up-Scaling (OT-DUS):利用最优传输对齐神经元以解决 LLM 深度扩展失配问题

    针对 LLM 深度扩展中插入新层导致的神经元排列失配问题,本文提出 Optimal Transport Depth Up-Scaling (OT-DUS) 方法。 该方法利用最优传输(OT)理论逐模块对齐并融合功能对应的神经元,在通用与特定领域的持续预训练及监督微调中表现优于现有方法。 分析显示,将新层插入较高位置不仅能提升模型性能,还能改善训练效率。

  18. arXiv · NLP29

    UniData:通用多模态指令生成管线

    UniData 提出了一种将简单用户需求转化为多轮多模态指令的通用生成管线,并构建了包含 20,000 条数据、覆盖九种模态的 UniDataset。 管线通过多事件扩展及 any-to-any 大模型整合生成指令,并利用轮次相关性修正无关与冗余推理流程。 实验显示 UniData 在数据质量上达到 SOTA 性能,并提升了其他多模态模型的理解与生成能力。

  19. arXiv · NLP74

    MiMo-V2.6:通过扩展强化学习算力推动多模态模型自我提升

    小米团队发布 MiMo-V2.6 系列多模态模型技术报告,通过大规模强化学习提升模型智能边界。该系列基于混合-SWA 架构进行中期训练,并在三维方向扩展 RL 算力:每步消耗 1,568 样本及 2.7-3.7B token(支持 1M 上下文)、覆盖代码/通用/视觉/网络领域的复杂环境,以及通过组式智能体评分生成更准确的奖励信号。

  20. arXiv · NLP21

    MH-INDIC:评估印度母婴健康 LLM 交互的文化对齐框架

    研究提出 MH-INDIC 框架,通过十维母体健康推理标准评估 10 款 LLM 在印度北部的文化对齐度。 基于 102 名女性调研,发现所有模型在人口统计与家庭画像上的行为变异度均显著低于真实人类群体。 人类接地提示(human-grounded prompting)能生成更强的文化对齐对话,证实文化画像可用于改进生成质量。

  21. arXiv · NLP36

    SFT-as-Context 缓解监督微调中的遗忘问题

    提出无需训练的 SFT-as-Context 方法,利用父模型将 SFT 模型响应作为上下文进行回答,在保留通用能力的同时获取微调后的专项能力。在 19 对父子模型和 11 个基准测试中,该方法在 AIME 2024 和 LiveCodeBench 上与 SFT 模型差距仅为 2.2 和 2.1 个百分点,通用能力平均差距保持在 2.2 个百分点以内。