跳到正文
10月28日周三
  1. arXiv · AI25

    无重放持续学习中的 Fisher-Shaped EWC 算法

    提出 Fisher-Shaped EWC(FS-EWC)方法,通过在预定邻域内最小化最坏经验 FIM 迹来形成对有限参数位移不敏感的未来保留解,并在任务完成时通过基于轨迹的模型合并构建保留解。实验显示 FS-EWC 在多个基准上优于 EWC,具有更优的稳定-可塑性平衡和参数漂移容忍度。 该研究表明有效的知识保留需同时实现未来导向的解构建与已获知识保护。

  2. arXiv · AI30

    EnergyCal:抑制 Muon 家族优化器在稀疏 MoE 训练中的损失尖峰

    针对 Muon 优化器在稀疏 MoE 训练中出现的巨大损失尖峰,新提出的 EnergyCal 规则通过衰减路由专家更新来稳定训练过程。在 4B 参数 MoE 模型上,EnergyCal-MuonH 将平均阈值化损失尖峰负担降低 99.51%,最终几何平均困惑度降低 4.06%,且未增加持久化优化器状态。该方法显著提升了 MoE 训练的稳定性,验证了其在有无 Hyperball 设置下的效果。

  3. arXiv · AI27

    探索Delta学习假设的局限:直接偏好优化中单模型对生成器偏差

    研究证明,直接偏好优化(DPO)中基于单模型对的Delta学习假设会引入依赖生成器的系统性偏差,导致训练效果低于多模型数据。 实验发现,即使大模型响应质量更高,单对数据仍因奖励黑客(reward hacking)导致表现不佳;增加生成器数量可部分缓解此效应。 结果强调生成器多样性是构建偏好数据的关键因素。

  4. arXiv · AI27

    数据策展改善 LLM 训练:是推进性能上限还是加速收敛?

    研究提出“推进”与“加速”二元框架,指出数据策展能否提升 LLM 性能上限取决于基线与目标是否存在可修正的训练-目标差距。 定义 $\Delta$-test 以量化该差距:显著非零 $\Delta$ 预示持续性能增益,接近零则增益随算力增加消失。 该视角将数据策展重心从方法转向任务本身,为构建目标集提供新方向。

  5. arXiv · AI24

    首个开源巴斯克语 Speech Language Model 基于 LLaMA-Omni 架构开发

    基于 LLaMA-Omni 架构,研究者构建了首个开源巴斯克语 Speech Language Model。该系统采用 Latxa 模型作为骨干网络,通过微调多个模块将文本能力迁移至语音模态,并基于英语语料翻译生成合成数据以解决数据稀缺问题。评估结果显示,系统的内容质量得分为 3.86/5,语音清晰度 WER 为 9.94%,音质 UTMOS 为 3.07。

  6. arXiv · AI28

    主权资本流中的算法韧性与非线性治理溢价

    该论文基于147个主权实体的全球面板数据,利用梯度提升架构将极端宏观经济尾部事件中的预测误差降低超39%。 研究应用双重可解释性框架,映射制度质量的离散阈值效应,揭示了严格的非线性“治理溢价”机制。 该框架为政策制定者提供无分布工具,证明全球资本市场将制度韧性定价为离散边界而非连续溢价。

  7. arXiv · AI35

    研究揭示 LLM 可靠批改奥林匹克数学证明的能力局限,提出 MABGrader 框架

    研究提出用于大规模生成高保真对抗性证明的 TROJAN 流水线,并构建了包含专家评分的 USAMO 2025 候选答案数据集。 评测覆盖 20 个模型、7 项指标及 3 种推理方法,显示前沿模型在验证数学证明方面仍有较大提升空间。 提出的 MABGrader 多臂老虎机框架在二次加权 Kappa 指标上比 SOTA ProofGrader 高 26.4%,并将评分误差降低 14%。

  8. arXiv · AI28

    橄榄树病害分类中通过数据生成策略增强深度学习模型性能

    针对数据不足与类别不平衡,该研究提出综合数据生成策略以提升深度学习模型在橄榄树病害分类中的性能。 采用传统增强、CutMix、MixUp及DCGAN生成合成图像,结合EfficientNetV2B0架构,验证了在平衡类别、增加样本及保持平衡扩展数据集三种场景下分类准确率的显著提升。

  9. IT之家54

    AI 推高元器件成本,惠普、华硕等部分 PC 产能迁回中国

    受 AI 需求拉动导致内存等零部件涨价,惠普、华硕、宏碁正将部分 PC 产能从东南亚迁回中国,并与本土新兴代工厂展开合作。由于头部代工厂转向利润率更高的 AI 服务器订单,立讯精密、华勤等新兴厂商正承接全球 PC 品牌的新增订单。受此影响,7 至 9 月全球 PC 出货量同比下滑 21%,预计第四季度降幅将达 24%。

  10. arXiv · ML20

    无标签有限体积残差训练注意力图神经网络预测耦合热流场

    提出通过最小化有限体积法残差训练注意力图神经网络,实现无需标记数据预测 3D 热流体场。在两个稳态基准中,模型平均归一化均方根误差接近 3%;在参数化瞬态案例中,其 rollout 误差低于数据监督基线。该方法避免了传统数值求解器的计算与存储成本,为神经代理模型提供了实用的训练信号。

  11. arXiv · ML28

    LLPR实现机器学习力场训练微调的少标注高准确率

    LLPR回归法作为前向传播廉价的逐构型不确定性估计器,能在分子、凝聚态及电解质体系中识别紧凑高价值训练集。 该方法仅用少量电子结构标签即可恢复全数据准确率,在基模型微调中以远少于随机选择的标签逼近实用上限,并在迭代电解质微调中检测非物理局部配位。 这为机器学习力场训练各阶段提供了可扩展的不确定性量化策略。

  12. arXiv · ML26

    胜者诅咒导致数据驱动决策中的虚假承诺

    模型基策略因胜者诅咒易产生虚假乐观评估,过去十年Management Science的55篇相关论文中53篇依赖此方法。 研究显示即使满足模型准确、随机分配、良好设定及样本划分等条件,仍无法避免胜者诅咒。 该缺陷会导致报告出高达60%的虚假收益,且与文献中22%-75%的真实改进幅度相当。

  13. arXiv · ML24

    Oracle Pruning 并非真正的 Oracle:系统检验其在深度网络中的有效性

    该论文通过 3.7 万个模型实验发现,在 ResNet56 等深层网络中,Oracle Pruning 剪枝后的表现与重训练后的性能几乎无相关性。 这一反直觉结果指出,基于 Oracle Pruning 推导剪枝准则的基础假设存在缺陷,任务复杂度上升是导致其失效的主因。 作者建议在未来开发剪枝准则时,必须将重训练阶段纳入考量。

  14. arXiv · ML30

    TRON:将自然演化网络架构迁移至神经进化

    TRON框架利用实验表征的蛋白质-蛋白质相互作用(PPI)网络作为架构先验,通过物种隔离机制保护新生架构,结合经典进化算子与神经进化机制。 在CORA、CITESEER、PUBMED等分类及三个回归基准测试中,TRON取得了最高预测性能,且多次独立运行间的变异性显著降低,提升了鲁棒性与收敛稳定性,但计算成本增加。

  15. arXiv · ML21

    自由形式 RFIC 无源器件端到端神经建模:预测电磁响应与设计性能

    团队提出一种端到端神经框架,用于预测自由形式 RFIC 无源器件在可变频率和电路上下文下的电磁响应及下游设计性能。 该框架结合频率条件神经仿真器与电路条件神经求解器,输出包含显式电磁响应和互补响应的神经电磁响应。 在由专家设计轮廓和随机路径合成的大规模数据集上,21M 参数模型在几乎所有目标上达到 R²>0.98,评估速度比传统电磁仿真快数个数量级,代码已开源。

  16. arXiv · ML33

    Neural Eigenfluid Bases:基于谱目标、规范与拓扑的低阶流体模型

    研究团队提出神经特征流体基(NEB),一种可在空间任意位置评估基函数并直接强制执行不可压缩性的神经表示。 该模型通过几何局部正交化学习有序基,使用1024个模态时,周期性涡旋合并中的速度误差低于1%;相比全参考模型,其简化状态规模缩小约1000倍。 预计算的Galerkin算子允许在重用相同基时实现毫秒级的状态更新。

  17. arXiv · ML23

    DP-RFedProj:紧凑子流形上几何无关微分隐私的投影联邦学习方法

    提出 DP-RFedProj 方法,实现紧凑子流形上的记录级微分隐私联邦学习,聚合通过闭式投影在固定环境几何中私有助梯度。 收敛速率中隐私项随流形内在维度而非环境维度缩放,客户端可运行随机一阶优化器并间歇参与。在 Grassmann 流形联邦 PCA 与 Stiefel 流形 EEG 分类实验中,达到相同隐私预算时噪声比最近先验方法少 5 至 6 倍。

  18. arXiv · ML21

    Ampe-DB:基于加纳传统游戏 Ampe 的人类活动与交互多模态数据集

    研究人员提出 Ampe-DB,这是基于加纳传统游戏 Ampe 的多模态数据集,包含 15 名参与者的 637 段标准化动作片段。 数据集涵盖 RGB 视频、双人姿态及元数据。基准测试表明,RGB 模型在 pair-held-out 评估中 macro-F1 从 0.955 降至 0.418,而姿态模型更鲁棒,得分达 0.811。 研究支持细粒度动作识别与身份感知泛化。

  19. arXiv · ML37

    LeJEPA 无标签监控失效:已知答案测试显示指标改善但特征可读性下降

    在 LeJEPA 自监督训练中,已知生成因子的可读性在 9/10 个随机种子中骤降,但无标签监控信号未发出预警。 11 个无标签指标大多持续改善并错误地评估下降运行优于未下降运行,标准变点检测也罕见地在发生时标记该事件。 这表明现有无标签监控方法存在盲区,无法及时识别编码器能力的真实退化。

  20. arXiv · ML20

    OneEEG:具备任务感知投影器混合机制的统一信号-视觉多模态语言模型用于多任务 EEG 理解

    提出 OneEEG 框架,整合数值与视觉 EEG 表征,引入任务感知 Mixture of Projectors (MoP) 对齐异构特征,实现多任务 EEG 理解。 基于 OneEEG-Instruct 数据集训练,建立 OneEEG-Bench 基准测试现有 MLLM 与该方法,实验显示 OneEEG 在 EEG 输入解释上表现优于现有模型。

  21. arXiv · ML30

    球面布朗扩散语言模型研究

    论文提出球面布朗扩散(Spherical Brownian Diffusion)语言模型,采用布朗运动作为球面上各向同性扩散的标准前向过程。 模型结合交叉熵学习干净token后验支持多种采样器,并推导高维近似速率以分离破坏与推理。 在Sudoku上两种破坏过程结果近乎相同,而固定破坏过程时采样器选择带来25.0分差距。

  22. arXiv · ML33

    MXFP8 强化学习在 Blackwell 上的端到端表现:一致性、速度与失效分析

    MXFP8 强化学习在 Blackwell B200 上实现端到端训练,MoE 模型训练时间缩短 10.7%,生成时间缩短 24%。 在 Qwen3-30B-A3B 模型上,匹配网格采样器使 train-rollout KL 降低 11%–16%;短序列密集工作负载速度下降 5%。 七项权重同步条件中五项失败是静默的,CPU 故障注入测试复现了其中五项。