跳到正文
11月10日周二
  1. arXiv · ML30

    多类逻辑回归中 SGD 的序列学习规律与缩放法则

    研究建立多类逻辑回归在高维混合模型下的交叉熵风险缩放法则,揭示学习过程按类别频率从高到低顺序进行的机制。 当类别先验服从幂律分布时,风险动态分解为初始平台期、幂律衰减序列学习期和最终收敛期三个明确阶段。 研究进一步推导了计算最优缩放法则,明确了模型尺寸与训练时间随计算预算变化的具体关系,将线性回归理论延伸至多分类任务。

  2. arXiv · ML33

    KITScenes Multimodal:面向自动驾驶的高保真欧洲多模态数据集

    发布欧洲多模态数据集 KITScenes Multimodal,配备超 400 米长程 lidar、4D 成像雷达及高精度 GNSS/INS 定位。 作为公开数据集首次将红绿灯等所有交通元素以重投影精度映射为 3D 拓扑连接数据。 该数据集旨在弥补现有数据在传感器保真度和地理多样性上的不足,并包含四个面向具身 AI 的空间学习基准测试。

  3. arXiv · ML35

    拒绝行为的几何结构:事后安全训练的脆弱性与预训练期持久性的分析

    跨5个模型族的几何分析表明,RLHF和DPO等事后安全训练仅形成“薄而尖锐”的抑制门控,未消除潜在能力。 具体数据显示,在Qwen-2.5-7B-Instruct和Llama-3-8B-Instruct上,100个良性微调样本即可将AdvBench拒绝率降低35至38个百分点。 相比之下,预训练阶段的安全协同训练可使410M至6.9B模型的拒绝率维持在87%至98%区间。

  4. arXiv · ML28

    SOAP-Bubbles:用于神经网络的结构化权重不确定性方法

    研究者提出 Eigenspace-VON (EVON) 优化器,将 IVON 方法在 SOAP 预条件子的特征空间中运行,生成名为 SOAP-Bubbles 的后验分布。 该新方法计算成本与 SOAP 相当,无需大幅修改训练流程,在语言模型预训练中显著优于现有对角协方差方法。 EVON 在逻辑回归中匹配全高斯协方差性能,使大规模深度学习更容易获得更具表达力的后验分布。

  5. arXiv · ML23

    GORMPO:一种生成式 OOD 正则化模型基策略优化算法

    论文提出 GORMPO,一种利用生成式密度建模将策略更新限制在高密度区域的离线强化学习算法,已被 NeurIPS 2026 接收。 该算法旨在通过密度估计避免稀疏状态-动作空间中的分布外(OOD)动作,并提供了关于密度估计误差与性能差距的理论保证。 实证结果显示 GORMPO 在真实医疗数据集上优于最先进临床 RL 模型,且在离线 RL 基准测试中表现优于最先进离线 RL 模型。

  6. arXiv · ML27

    LAPO:结合强化学习与 SFT 的无 KL 对数平均策略优化用于 LLM 后训练

    LAPO 提出无 KL 与 critic 的后训练框架,通过在 GRPO 中对策略与参考模型 logits 进行平均作为隐式正则化,稳定 rollout 轨迹。该方法在 Qwen2.5-Instruct 1.5B、3B、7B 上验证,MATH 任务准确率较标准 KL-GRPO 提升 7%-15%。混合教师策略可蒸馏回单学生网络,恢复标准 1× 推理延迟。

  7. arXiv · ML35

    Pion:一种基于正交等价变换的谱保持优化器

    Pion 引入基于正交等价变换的谱保持优化器,通过左右正交变换更新权重矩阵并保持奇异值不变。 该优化器固定谱范数并调节几何结构,论文推导更新规则并分析收敛行为,实证结果显示其在 LLM 预训练和微调中表现稳定且具竞争力。 工作已发表于 NeurIPS 2026,v2 版本增加了基于 msign 的 Pion 及额外实验。

  8. arXiv · ML20

    学习多面体共形集以用于鲁棒优化

    研究人员提出一种感知决策的共形框架,通过数据驱动超平面参数化多面体不确定集。 该框架直接最小化诱导的鲁棒损失并保留统计有效性,通过独立数据集的重校准修正数据依赖选择,捕捉与决策目标对齐的方向性和各向异性不确定性。 该方法在统计有效性与决策最优性之间架起桥梁,为数据驱动的鲁棒优化提供了有原则的框架。

  9. arXiv · AI38

    基于机器学习的 Solana Memecoin Rug Pull 早期预测

    该研究构建了包含 6.4 million tokens 的 Solana 数据集,利用经典机器学习模型在交易启动 5 分钟内检测 Rug Pull。 分析显示绝大多数 Memecoin 在发射 1 小时内出现欺诈特征,且 PumpFun 与 Raydium 跨平台数据融合有效降低领域偏移。 该研究为高吞吐量链上的 DeFi 欺诈防范提供了实用框架。

  10. arXiv · AI25

    Moshi 基础模型的环境足迹分析

    该研究通过生命周期评估方法,量化了由 Kyutai 开发的 7B 参数语音文本基础模型 Moshi 在研发全过程中的环境影响。 研究首次深入剖析了计算密集型多模态大语言模型研发的解剖结构,具体量化了用于模型特定组件、训练阶段、早期实验、失败运行、调试及消融研究的 GPU 时间投入,并统计了数据中心硬件生产与使用关联的能源和水消耗、温室气体排放及矿物资源消耗。

  11. arXiv · AI20

    物理信息神经网络在小数据场景下与经典偏微分方程替代模型的对照研究

    物理信息神经网络(PINN)通过引入控制方程和边界条件,仅使用20至1000个标记状态即可实现准确预测。 研究提出分层损失加权H-PINN及其梯度感知扩展HO-PINN,在热方程和两相流基准测试中,至少一种PINN变体在20和50标签下取得最高平均主目标R²。 结果证实已知物理规律能在极高拟合成本下,支持极少观测数据下的准确神经替代预测。

  12. arXiv · ML23

    计算模型:师生共同适应的动态交互机制

    提出整合教育情境洞察的可计算师生交互模型,评估模拟课堂中的多种教学策略。 包含双向能动性的共同适应策略优于单方向干预,提升了各类学习成果。 模型生成假设的环境具有自适应能力,为构建公平且动态适应学习者需求的人工智能教育系统提供基础。

  13. arXiv · ML29

    FP4 预训练损耗罕见事实获取:验证损失掩盖的低精度训练效率损失

    使用 FP4 预训练比 BF16 需多 1.32倍至 1.52倍 曝光次数 才能匹配罕见事实 召回率,而验证损失仅差 0.5%至 2%。 零均值梯度噪声 复现 反向传播 量化 成本,且 噪声 仅注入 Adam 二阶动量估计 时 成本 随 训练 结束 而 减弱。 建议 在 评估 低精度 配方 时 同步 测量 罕见事实 获取 指标,而非 仅依赖 损失曲线。

  14. arXiv · ML33

    一种自动发现符号化局部学习规则以替代反向传播的方法

    该研究提出一种通用方法,通过构建局部张量单omial字典并回归系数,自动发现可替代反向传播的符号化局部学习规则。方法适用于任意深度学习架构,在分类和重建任务中显著降低全局损失,且生成的局部规则比MLP替代方案更具可解释性。 此方法有望推动能源高效的深度学习发展,并有助于发现生物学上合理的学习机制。

  15. arXiv · ML32

    ELD:基于能量分布预测视觉预训练质量的合成数据筛选原则

    研究提出能量水平分布距离(ELD),通过对比真实与合成图像的能量分布来审计合成数据,预测视觉预训练性能优于 FID 和 LPIPS。 ELD 能识别被传统指标忽略的分布失配,并指导合成数据重采样与混合,在匹配真实图像能量直方图的同时保留多样性以提升下游迁移效果。 该成果已被 NeurIPS 2026 接收为口头报告。

  16. arXiv · ML31

    语言模型后训练中的谱秩与步长方向动态研究

    研究揭示大语言模型后训练中“近全秩更新”与“低稳定秩变化”的矛盾表象兼容。对于奇异值呈幂律衰减的更新,随着维度增加,稳定秩相对于固定能量秩变得可忽略。 对 OLMo-2-7B 的 PPO 更新进行全 SVD 分解显示,稳定秩仅为 9.6-18.3,但需 532-1,222 个奇异分量才能覆盖 80% 能量。

  17. arXiv · ML45

    逐层逐模块探查 Transformer 表征

    针对 Transformer 基础模型表征探查仅关注最终层的问题,研究通过 144,000 次线性探查评估,发现最优层与模块联合选择能显著提升特征质量。 研究提出视觉模型采用 Act@100、语言模型采用 LN2@60 的固定策略,分别恢复最优探查收益的 42% 和 86%。 该策略在多数评估中优于基线,且视觉模型收益随迁移难度增加而提升。

  18. arXiv · ML24

    AdamW 稳定性分析:不稳定平衡点与非收敛性

    该研究将 AdamW 视为动力系统,证明其隐式固定点对应一个受限正则化优化问题的驻点,但并非所有固定点均稳定。 稳定性敏感依赖于曲率、权重衰减及动量参数;在一维设定下平衡点可能不稳定,轨迹表现为持续振荡而非收敛。 论文推导了连续时间动力学的局部稳定性充分条件,并提出一种保留 AdamW 固定点的收敛性改进算法。

  19. arXiv · ML25

    面向分布式非独立同分布生物医学数据的一次性分层联邦聚类框架

    该论文提出一种一次性分层联邦聚类(FC)框架,用于解决多机构生物医学数据中分布碎片化及递归计算开销大、隐私泄露风险高的问题。 框架通过客户端向服务器传输原型进行分布探索与聚合,并在服务器端采用多粒度竞争学习机制融合簇元,以抵消信息损失。 实验表明,该框架在公共数据集上优于现有方法,有效平衡了鲁棒聚类、隐私保护与计算效率。

  20. arXiv · ML25

    ALETHEIA: 用于无损检测神经算子学习的多频涡流脉冲热成像数据集

    ALETHEIA是首个针对无损检测神经PDE求解器的3D基准数据集,包含4700多个高分辨率样本,覆盖1-100kHz的10个激励频率。 数据集模拟导电固体中的涡流致热及瞬态热传播,支持从表面红外测量进行缺陷的逆向重建,并包含真实裂纹铁轨样本。 该数据集为在真实无损检测条件下评估神经PDE求解器提供了统一平台,支持数据驱动的逆向建模。

  21. arXiv · ML30

    FRESCO:一种用于异步流水线并行训练的一致性控制方法

    FRESCO通过约束优化解决异步流水线训练中的梯度不一致问题,旨在以最小更新修改维持前向等价性。 在LLM预训练中,FRESCO优于代表性基线;流水线深度达32时,比最强基线少43%迭代次数和30%实际耗时,且内存开销减少8至921倍。 该工作为高利用率流水线并行训练奠定了基础,为资源受限系统上的大规模模型开发提供可扩展路径。

  22. arXiv · ML23

    选择性标签下的目标可恢复性:基于 ECG 的急性冠脉综合征预测中的失效模式

    研究揭示 ECG 模型在急性冠脉综合征预测中因选择性标签导致的失效,3 个微调模型在未检测患者中 AUROC 为 0.381-0.478,表现低于随机水平。 模型在已检测患者中 AUROC 达 0.740-0.770,但训练于不稳定心绞痛的模型与风险呈反向相关(AUROC 0.310)。 该机制表明有效学习需确保预测目标可从模型输入推断,并在预期部署人群中评估。