跳到正文
10月14日周三
  1. arXiv · ML21

    提出方向性影响函数(DIF)以解决约束学习中的数据影响估计可靠性问题

    论文提出方向性影响函数(DIF),将约束学习的最优性条件转化为变分不等式,解决经典影响函数在约束设置下估计违背可行性的问题。 在约束线性回归中,DIF 可恢复留一法重训练结果,而经典影响函数及惩罚方法存在显著偏差;在公平性约束 CNN 中,DIF 准确预测数据移除后的测试损失变化。 DIF 被证明是约束学习中进行数据归因的高效可靠工具,提升了模型的可解释性与鲁棒性分析能力。

  2. arXiv · ML31

    REGEN:利用离线强化学习实现专家到通用大模型的知识蒸馏

    研究人员提出REGEN框架,通过回收专家模型强化学习的回放内存并应用离线强化学习算法,训练通用大模型。该方法将采样过程与反向传播解耦,在数学推理、代码生成等任务上以更低成本达到多教师蒸馏的精度。 REGEN可将在线强化学习转化为数据合成过程,降低大规模后训练对计算基础设施的需求,代码已开源。

  3. arXiv · ML24

    MIMIC-IV ICU预测模型更新前需审计记录伪影以界定有界更新限制

    基于 MIMIC-IV 3.1 的审计显示,2020-2022 年约半数 ICU 住院无记录,且血管加压素数据迁移导致标签率误判。 有界更新在 12 个主要单元中的 10 个优于或等效于全量微调(0.015 AUROC 边际),但适应性增益较小。 模型更新策略的效果高度依赖特定目标、模型家族及学习率调优,审计应先于更新评估。

  4. arXiv · ML27

    TabLens 如何重新审视标签稀缺下的 LLM 表格分类部署

    新基准 TabLens 显示,在可估算的复杂度阈值以下,LLM 零样本推理精度可匹配 16 个标注样本,无需额外数据。 该基准包含 91 个跨八个领域的真实与合成数据集,以及 8 个含自由文本列的工业数据集。 结果显示,含自由文本列时零样本 LLM 优于 16-shot TabPFN-3 Plus;显式专家规则仅能替代约 16 个真实样本。

  5. arXiv · ML22

    f-OPD:通过新鲜度感知控制稳定长周期在线策略蒸馏

    f-OPD框架通过样本级新鲜度分数自适应调节陈旧样本影响,在保持异步执行吞吐量优势的同时,实现了与同步优化相当的推理、工具使用及编码智能体任务性能。 该方法理论上将目标差异分解为 rollout 漂移和 supervision 漂移,旨在解决异步训练与理想在线策略目标间的张力,建立性能与效率的权衡方案,为大规模长周期智能体后训练铺路。

  6. arXiv · ML25

    LoopQ:循环语言模型的后训练量化框架

    LoopQ 框架针对循环语言模型(LoopLMs)提出后训练量化方案,有效解决分布偏移、状态复用和递归误差累积导致的性能退化。 该框架通过循环感知激活缩放、跨循环状态对齐和轨迹感知校准技术,在 W4A4 量化下实现五任务平均准确率 67.8% 的相对提升,困惑度降低保守估计达 75.2%。

  7. arXiv · AI20

    LLMRec:推荐任务中的大语言模型基准测试

    LLMRec 提出了针对 LLM 的推荐系统基准,在 ChatGPT、LLaMA 和 ChatGLM 等模型上评估了五项推荐任务。 测试结果显示,LLM 在基于准确率的序列和直接推荐任务上表现中等,但在基于可解释性的任务上性能可与 SOTA 方法媲美。 代码、处理数据和基准结果已公开,旨在推动研究者深入探索 LLM 在推荐领域的潜力。

  8. arXiv · ML30

    基于个体敏感度边界的认证实例级机器学习遗忘

    认证机器学习遗忘通常通过校准噪声至最坏情况敏感度来实现,但针对单个训练点的高度异质性导致统一校准过于保守。 作者提出了认证的实例级遗忘框架,使遗忘机制和证书能够适应被删除的数据点,让噪声量反映删除难度而非最坏情况。 在确定性训练和岭回归的噪声梯度下降中推导了显式证书,NYU-Depth实验表明实例级校准相比统一校准可显著提升效用。

  9. arXiv · ML28

    前向-Forward (Forward-Forward)、Cascaded Forward (CaFo) 和 Mono-Forward (MF) 算法在硬件验证基准测试中的能效分析

    在基于 NVIDIA A100 的测试中,前向-only 算法中只有 Mono-Forward (MF) 比反向传播更节能;其余 FF 和 CaFo 能耗反而为 BP 的 3.0-7.1 倍。 在 3x2000 的多层感知机上,MF 比 BP 节省 12.5%-19.9% 能源和 24.6%-27.5% 内存,并在 CIFAR-100 上取得统计上相当的准确率。

  10. arXiv · AI34

    Spatial-Interactor:通过物理世界交互学习空间推理

    提出 Spatial-Interactor 框架,通过 L1 被动、L2 主动及 L3 长时程交互课程训练视觉语言模型(VLMs),构建 LSI-108K 数据集以提升空间推理能力。 采用两阶段训练策略:先对 L1/L2 进行监督微调(SFT),再利用特权自蒸馏优化 L3 长轨迹推理,在多项空间基准测试中实现一致的性能增益。

  11. arXiv · AI22

    SGPO:面向 LLM 推理的策略引导策略优化

    提出 SGPO 方法,通过可复用的策略蒸馏替代轨迹模仿,在四个数学基准测试中平均得分比最强基线高 2.2 分(Qwen2.5-7B-Instruct)。 使用 token-level forward-KL 目标传输策略条件带来的分布偏移,并采用自适应实例级权重增强指导。 该方法比直接轨迹模仿更具选择性,且策略蒸馏能力与基础模型能力呈互补扩展关系。

  12. arXiv · ML30

    LlMBO:利用贝叶斯优化微调 LLM

    LlMBO 提出一种基于贝叶斯优化的 LLM 微调方法,作为 TinyLoRA 中梯度法的有效替代。 该方法无需梯度、内存占用低,支持跨设备并行,并能直接优化贪心解码准确率。 在数学基准测试中,LlMBO 的性能可匹敌或超越 GRPO,且计算与内存开销大幅降低。

  13. arXiv · AI23

    ConMoE:将 MoE 压缩重构为专家选择与功能分配

    提出 ConMoE 框架,将 MoE 压缩解耦为专家池构建与负载分配两步,实现参数高效压缩。 利用无标签校准输入优化分配,在 50% 专家保留率下,峰值 GPU 显存降低 29.6%-48.4%,且 Macro Accuracy 提升 1.82 个百分点。 该结果确立了专家分配作为 MoE 压缩中独立的优化维度。

  14. arXiv · AI28

    语言模型数值自报无法可靠衡量其内部状态

    研究发现,语言模型的数值自报与其内部状态探针分数仅弱耦合,且提问会干扰被测量的状态。 研究覆盖 8 个指令微调模型(1B-27B 参数规模),自报分数对探针读数缺乏概念特异性,且这种可靠性不随模型规模扩大而改善。 因此,数值自报不应作为衡量模型内部情感状态(如福祉、兴趣)的可靠指标。

  15. arXiv · AI20

    质量感知 VLA 预训练:AXIS-Bench 基准与实证研究

    研究对比权重、过滤和条件化方法在 VLA 预训练中的作用,发现感知型条件化提升平均成功率,且基于标签的微调可进一步优化性能。 实验使用 5000 条次优人类演示和 24 个目标任务,涵盖 3 种 VLA 模型;真实世界中模拟预训练将成功率从 9.6% 提升至 31.7%。 该成果通过 AXIS-Bench 支持受控对比,为 VLA 模型的质量感知训练提供了可复现基准。

  16. arXiv · ML40

    强化学习校准LLM解释以提升人类决策:HD-RL框架在AI文本检测中的应用

    研究人员提出强化学习框架HD-RL,通过优化大语言模型的解释来校准人类决策,显著提升下游任务中的人类判断准确率。 在AI生成文本检测任务中,默认模型解释导致人类准确率仅为51.3%;应用HD-RL优化开源Qwen 3.6模型后,人类准确率达到63.7%,且超越RLVR等基线模型8%以上。

  17. arXiv · AI28

    APT:面向文本到图像生成的反馈驱动智能体后训练

    作者提出 APT 框架,通过三个智能体协作,根据模型能力演变自适应生成后训练数据。 该框架协调构建评估集、诊断模型缺陷并生成强调弱项的强化学习提示,形成递归自我改进反馈环。 在多种基础模型、基准及架构上的实验证明,APT 具备模型、基准和架构无关性,且全流程自动化。

  18. arXiv · AI22

    机器学习势函数能否比训练方法更准确:跨量子化学方法的视角

    机器学习势函数(MLP)通常被认为准确性受限于训练方法。本文提出通过泛化到量子化学方法空间,构建“方法可迁移”的 MLP。 实验表明,基于密度泛函和波函数理论的实现证明,这些 MLP 的预测精度可以超过其所有训练方法。该方法将推动化学模拟中训练数据集的构建与模型评估方式,突破现有精度极限。

  19. arXiv · NLP31

    PermaFrost-Attack: 用于在LLM训练期间植入逻辑地雷的隐蔽预训练种子(SPS)

    PermaFrost-Attack框架通过隐蔽预训练种子(SPS)向LLM植入潜在不安全行为,其载荷微小且易被标准评估隐藏。 研究引入热力学长度、谱曲率及感染追溯图三种几何诊断方法,揭示该攻击在多个模型族中的持久性与隐蔽性。 SPS被确认为基础模型实际且被低估的安全威胁,为检测潜在模型漏洞提供系统性理论基础。

  20. arXiv · NLP30

    在数学 RLVR 中通过分布对齐提示合成与反向提示退火缓解分布锐化

    在数学 RLVR 训练中,分布锐化导致难题覆盖范围收窄。DAHS 和 BHA 方法通过条件化提示和长度桶退火,解决了教师-学生分布不匹配及无提示评估适应性问题。 该方法在 Qwen3 模型上提升了 AIME 的 pass@1 和 pass@2048 分数。 它有效缓解了 DAPO 框架下难题覆盖范围的收缩。