跳到正文
11月11日周三
  1. arXiv · ML25

    利用特征不变缩放定律提升推荐系统 A/B 实验效率

    研究证实现代推荐模型具有特征不变缩放性,即不同特征改变下性能变化遵循可预测的缩放定律。 研究人员提出一种利用缩放定律和统计推断的方法,通过小规模实验预测全尺度 A/B 测试效果,在 Wukong、HSTU 及 LLM 推荐模型上验证了该方法在 40 多项变更中能准确区分有益与中性/退步变化,大幅降低计算需求。

  2. arXiv · ML36

    研究揭示 VLA 模型性能主要依赖 kNN 检索而非泛化能力

    VLA 模型在 LIBERO 仿真基准中成功率超 95%,但研究表明检索邻近演示的动作块无需策略训练即可达到 91.7% 成功率。 kNN 检索在 LIBERO-Plus 扰动下性能下降最小,且微调主要优化视觉语言骨干作为检索键,而非提升动作泛化。 研究提出离线指标 Local Action Consistency (LAC),用于衡量观测一致性并指导检索键训练,代码与评估已公开。

  3. arXiv · ML31

    内在动机构建世界模型:24 种目标与表示学习的整合研究

    研究整合 24 种内在动机目标(含好奇心、熵、能力维度)至模型基强化学习框架,通过零样本、少样本及多任务控制评估世界模型质量。 对比观察重建、潜在预测等 3 种表示策略发现,好奇心驱动探索结合观察重建表现最强,但最佳组合依实验而定;在组合视觉任务中,基于 episodic 和 lifelong novelty 的内在动机配合通用循环状态,实现了最优的零样本迁移与少样本适应。

  4. arXiv · ML42

    PR-OVD 提出分区精化框架,在开放词汇目标检测中平均提升新类性能 6.5%

    PR-OVD 框架在开放词汇目标检测中通过显式预留新类容量,在两个基准测试中较 SOTA 方法平均提升新类性能 6.5%。 该框架包含全局粗分区、类别级精化及结构提示(Structure Prompt),用于解决基础类偏差导致的语义坍缩,并同步优化决策边界。 PR-OVD 可无缝集成不同检测架构,其有效性在开放词汇分割与分类任务中得到进一步验证。

  5. arXiv · ML38

    AptM-GCD:基于属性证据学习与多模态提示的广义类别发现框架

    AptM-GCD 提出属性证据学习与多模态提示机制,在六个数据集上实现 SOTA 性能。 该框架通过 AEL 机制将属性视为局部视觉证据,利用 MPL 将文本证据转化为视觉提示注入多模态提示 Transformer,在单模态及类别不平衡设置下均保持一致的性能增益。 该成果已被 IEEE TPAMI 接收,展示了在多模态感知下的强泛化能力。

  6. arXiv · ML29

    AutoScaffold:用于大语言模型强化学习的 AI 引导式支架方法

    框架 AutoScaffold 将强化学习可验证奖励训练中的学生经验转化为自适应支架,无需人工干预。 该框架通过冻结的教师模型诊断瓶颈并设计共享策略与个别提示,在四种任务域中优于对应强化学习基线。 在 ALFWorld 任务成功率提升 7.2 分,数学推理中用约三分之一的学生训练步数超过 QuestA 的准确率。

  7. arXiv · ML27

    CCW-Net:基于因果概念解释的深度学习模型解释框架

    提出CCW-Net(因果概念包装网络),首次将干预性中介分析作为训练目标,用于对齐概念解释与模型输出的因果关系。该框架通过必要性、充分性和独立性标准塑造模型的概念表征,在飞机控制、驾驶和图像分类任务中进行了评估。 它使基于概念的解释从相关性的提升为可量化的因果性,支持透明神经模型更安全的评估、认证和部署。

  8. arXiv · ML22

    符号蒸馏法发现南亚季风降水的可解释热力学方程

    利用符号蒸馏结合神经网络与符号回归,从 21 年再分析数据中发现可解释的南亚季风降水方程。 最佳方程解释的降水方差是广泛使用的浮力诊断的 1.5 倍,恢复约 85% 的神经网络性能,参数数量减少约 1000 倍。 方程揭示低层自由对流层湿度作为竞争控制因子,使降水预测更符合物理一致性。

  9. arXiv · ML25

    基于偏差感知预训练的心血管疾病心电信号检测方法

    该自监督框架利用近百万条无标签12导联ECG数据,在多个公开数据集上实现AUROC最高提升6.5%,F1提升12.8%,且无需额外微调。 核心模块包括偏差定位嵌入与关联重建嵌入,用于捕捉波形级偏差及跨导联关联。 该方法降低对标注数据的依赖,有助于支持临床早期检测与心血管病监测。

  10. arXiv · ML42

    Pooled-Substructure-Aware GNNs 通过保留池化子结构提升图神经网络表达能力

    Pooled-Substructure-Aware GNNs 提出一种显式保留池化子结构的图池化方法,在具备层级结构的任务上优于基线模型。 该方法增强了基于池化的 GNN 在 Weisfeiler-Lehman 测试意义下的表达能力,并引入了两个新合成数据集及衡量层级模式普遍性的指标,代码和数据集已公开。

  11. arXiv · ML33

    基于同策略蒸馏解锁预训练文件操作在长程编码智能体记忆后训练中的潜力

    研究提出CAMP-II框架,通过同策略蒸馏训练单一策略学习基于文件的记忆行为,在CAMG-II基准中性能增益达最强基线的2.97倍。 CAMP-II结合完全异步OPD,从具有文件操作先验的冻结教师模型中学习,该记忆行为可泛化至Terminal-Bench 2.1和SWE-Bench Pro V2等外部基准并提升成功率。

  12. arXiv · ML37

    BioXArena-Pro:面向自主生物医学机器学习智能体的研究级评测基准

    BioXArena-Pro 提出 64 项研究级生物医学建模任务,覆盖 8 个领域,多数任务保留整体生物学单元。 测试 22 种智能体配置,最佳得分 55.1/100,框架重要性几乎等同于模型;禁用预训练基础模型使最高分下降 9 分。 该基准旨在检验智能体在未见数据上的适应能力,解决现有评测饱和与信息泄露问题。

  13. arXiv · ML38

    RB-LDC:面向噪声鲁棒扩散潜变量的冗余平衡隐式编码

    提出可逆线性层 RB-LDC,通过重平衡潜变量各方向的信噪比(SNR)以匹配解码器敏感度,显著提升扩散模型在噪声干扰下的重建质量。 在 ImageNet 256x256 分辨率实验表明,使用冻结扩散模型时,RB-LDC 在全部 12 种采样进度与通道 SNR 组合中均获得更低的 FID 值,VA-VAE 块局部编码下扰动 FID 平均降低 17.1。

  14. arXiv · ML25

    双核张量轮分解与结构缓存加速的张量恢复方法

    论文提出双核张量轮分解(DCTW)与结构缓存加速策略,通过因子化中心核心并复用中间张量,避免显式大规模矩阵乘法。 该方法在复杂度分析中显示优化速度优于显式与隐式更新方案,且限制了排名增长时的峰值内存增加。 实验表明,DCTW 在彩色视频补全和鲁棒去噪任务中,重建质量、计算效率和可扩展性均匹配或超越代表性张量网络方法。

  15. arXiv · ML48

    tritify 实现精确整数算术下的确定性可复现推理

    tritify 开源运行时通过精确整数算术实现跨硬件位级可复现推理,SHA-256 哈希验证输出一致性。 验证覆盖 OLMoE 及 106B 参数 GLM-4.5-Air,在 CPU/GPU 及分布机器上保持比特相同,实现可验证分布式推理。 该机制允许不信任服务器运行模型,由开放标量预言机重推导字节,拒绝单设备加速与机密性声明。

  16. arXiv · ML34

    自举式在线策略蒸馏 BOPD 框架

    针对在线策略自蒸馏(OPSD)在长期训练中因师生分布失配导致性能退化的问题,研究提出自举式在线策略蒸馏(BOPD)框架。 该框架采用两阶段设计:先利用 OPSD 将参考条件信号内化至中间模型,再将该模型蒸馏至全新模型副本,避免误导性监督。 实验表明,BOPD 在数学推理和代码生成任务上的表现优于初始模型及 OPSD 教师模型。

  17. arXiv · ML20

    CP-MLPs: 张量秩视角下绑定与解耦 MLP 块的理论分析

    CP-MLPs 提出张量框架分析 Transformer FFN,揭示绑定与解耦门控块在表达宽度上的差异。 解耦块(如 ReGLU、SwiGLU)在二次交互和角色不对称单项式上宽度效率严格更高,而绑定块(如 ReLU²)适配对称纯幂次目标。 实验表明损失平台低于精确表示宽度,但近似精度由边秩主导,代码已开源。

  18. arXiv · ML36

    注意力手术中的 Sanity Checks:针对表示驱动设计的 Null Models 与 Matched Interventions

    论文在九个预训练模型中验证自注意力移除的收益。数据显示前因 Null 可解释 48% 至 63% 的头值余弦对齐,且该效应非单调依赖模型规模。 在 50.9M 规模下,移除自身 Value 方向降低验证损失 0.0029 nats,显著优于任意固定方向(无显著差异)。这表明仅凭高余弦对齐无法确立冻结模型中的冗余性。