跳到正文
10月20日周二
  1. arXiv · AI29

    深度学习与大脑的物理学统一框架

    研究提出基于非平衡统计物理的统一框架,证实描述大脑神经元雪崩的方程同样适用于深度神经网络级联活动。 网络在吸收相与活跃相之间的准临界状态下学习效果最佳。通过有限尺寸标度,研究识别出包括Barkhausen噪声和定向渗流在内的不同普适类。

  2. arXiv · AI31

    LSTMem: 面向大语言模型的分层长短期在线记忆

    提出LSTMem,一种受LSTM启发的在线记忆模块,为冻结LLM每层配备细胞状态与隐藏状态,在Qwen3-4B-Instruct上提升MemoryAgentBench、LoCoMo和HotpotQA成绩。 LSTMem通过门控机制分离记忆积累与表达,并利用跨层前向传播与高层重建梯度优化下层状态,优于基于联想记忆的对照方案。 代码已开源。

  3. arXiv · AI26

    Differential Functionalism: Jacobians Shape the Structure of Phenomenal Experience

    论文提出微分功能主义假设,认为物理相互作用的一阶结构(Jacobian)塑造现象体验的结构。 引入透明度(有效秩)和完整性(归一化代数连通度)两个度量,通过示例推导重叠体验、系统边界及时间厚度等现象特征。 该框架可在人工网络中大规模计算,并估算脑区扰动数据,相关代码已开源。

  4. arXiv · AI29

    序列蒸馏的选择性:基准知识与后门行为的差异

    知识蒸馏对不同教师属性的传递具有选择性,基准关联知识成功通过所有四种序列蒸馏渠道传递,而拒绝后门行为几乎未被学生模型继承。 Logit 蒸馏能显著传递后门行为,在未见过后门示例的学生中触发拒绝率达 85.5%,表明选择标准取决于教师属性的结构而非数据。 代码已在 GitHub 开放获取。

  5. arXiv · AI21

    FinSafeGuard:面向金融 AI 安全的合成数据集

    论文提出 FinSafeGuard,通过四阶段管道生成 14.3M 高质量合成训练样本,涵盖 Banking、Insurance 等三个金融领域。 管道包含条件自动演化、语义去重及 LLM-as-Judge 过滤;去重率根据领域差异在 9.9% 至 40.6% 之间波动。 该框架将 26.4M 原始样本精简为 14.3M 高置信度样本,提供了可复现的领域特定数据生成方法。

  6. arXiv · AI28

    评估建筑数据集 AI 就绪度:多维度操作框架

    该研究提出包含 30 项属性、4 个维度的建筑数据集 AI 就绪度框架,用于评估元数据、质量、治理及 AI 效用。 框架在 21 个公开数据集上验证,整体就绪度得分介于 0.720 至 0.964 之间,混合验证达成 90.5% 一致性。 该框架支持对异构建筑数据集进行一致评估并识别就绪度差距。

  7. arXiv · AI26

    基于不完整机场观测的LBS数据推断美国境内航空行程的两阶段混合框架

    针对机场观测缺失问题,研究提出两阶段混合框架,利用约1000万用户和1.31亿次观测的LBS数据推断美国境内航空行程。 第二阶段概率模型将航线覆盖率从10.65%提升至50.60%,Spearman相关系数由0.4490升至0.7630,并恢复92.2%的第一阶段参考行程。 该框架定义了三种端点观测状态,帮助机场机构识别不完整观测下遗漏的国内航空出行模式。

  8. arXiv · AI23

    Resonance:通过蒸馏与自训练提升小分子合成反应预测的鲁棒性研究

    Resonance 模型利用前沿监督启动开源模型的前向反应预测,显著提升小分子药物设计的推理能力。 该模型通过蒸馏教师模型的推理轨迹并结合自验证输出训练,将接近零准确率的基座模型转化为有效的反应预测器,且强学生模型仅靠蒸馏即超越教师。 研究表明准确性未带来鲁棒推理,小模型易在质疑下放弃正确答案,凸显化学推理模型评估需兼顾答案准确率与推理鲁棒性。

  9. arXiv · ML23

    多样性感知主动学习构建面向当前与未来目标的材料数据集

    提出结合预测分歧与材料特征多样性的获取框架,解决数据集对当前属性优化但丢失未来信息的问题。 在四个DFT数据集和一个实验热电材料数据集上,NSGA-II Dis. + diversity框架表现最稳健,保持当前目标预测高于随机采样并提升排除属性性能。 该框架为构建无偏材料数据集、缓解后续建模冷启动限制提供实用路径。

  10. arXiv · ML39

    通过PID负载均衡实现极度稀疏MoE模型稳定训练

    ID Balancing是一种基于积分-微分控制器的负载均衡方法,用于解决大语言模型中混合专家(MoE)路由不平衡问题。 该方法整合了DeepSeek的无损失方法和Kimi K3的分位数平衡方法。 实验显示,在Top-3路由设置下,ID Balancing将最坏情况骨干MaxVio降低超过50%,最坏情况骨干MaxVio在总参数量从18.9B增加到69.9B时保持稳定。

  11. arXiv · ML23

    Loop-µP:循环 Transformer 中的残差缩放与超参数迁移

    研究者提出 Loop-µP 参数化方案,解决循环 Transformer 随循环次数 N 增加导致训练不稳定及超参数失效问题。 理论证明在无限宽度极限下,残差分支乘以 1/N 且学习率与 N 解耦是保持前向传播稳定的唯一方式。语言建模实验中,该方法支持 N 高达 8、执行深度达 384 层的缩放,且无需重新搜索超参数。

  12. arXiv · ML28

    PivotTrace 通过追踪元认知转折点实现高效 RLVR 推理训练

    PivotTrace 提出一种利用注意力动态追踪推理中元认知转折点的三元数据分诊框架。该框架通过量化转折点密度来精确评估不确定性,实现了自动化数据路由,以协同最大化标注与训练效率。实验表明,PivotTrace 仅使用 29.3% 的标注样本即超越了全监督大模型,且收敛速度提升 2.75 倍。

  13. arXiv · ML23

    随机条件梯度法中批量大小的作用:理论分析与 NanoGPT 实验验证

    研究在 $\mu$-KL 条件下推导了动量型随机条件梯度算法(如 Scion)的分析框架,揭示了批量大小存在临界阈值:初始增大批量提升精度,但超过阈值后收益饱和甚至降低性能。 理论预测了最优步长量级,并提出了在训练中动态增加批量大小和序列长度的自适应策略。 在 NanoGPT 上的实验验证了理论预测的 scaling 规律,为设计高效训练调度提供了指导。

  14. arXiv · ML24

    Trajectory Replay: Continuous-Time Mixture Transport for Lifelong Generative Models

    Trajectory Replay 提出一种连续时间混合传输方法,用于终身生成模型,通过匹配冻结历史速度与 incoming task 速度场来规避样本生成,每次持续更新仅需少量网络评估即可访问历史轨迹。 实证显示,该方法在类别增量图像生成任务中优于 generative replay 与蒸馏基线,并在两个生物学案例中将生成扰动模型扩展至新上下文与实验批次,同时保持治疗效果预测能力。

  15. arXiv · ML26

    UtilityBench:测量不同成本错误下的语言模型效用

    UtilityBench 是一个包含 15,000 个可验证实例的基准,通过最佳最坏标度法量化错误严重性,用于评估语言模型在错误成本各异场景下的效用。 它引入 UtilityAUC 指标,通过模型响应排序下的效用曲线面积,实现超越错误频率的效用偏好对齐。 在 20 个最先进模型的评估中,较高的准确率或更先进的架构并不总能带来更高的 UtilityAUC,揭示了问题解决能力与负责任决策之间的差距。

  16. arXiv · ML33

    面向 Token 高效强化学习的自适应解码方法研究

    研究发现 RLVR 训练中的自适应解码调度可提升采样效率,动态扩大候选 token 支持范围优于固定策略。 在 4B 代码 RLVR 场景中,调度策略在 150M token 验证集上的插值分数平均比固定 K=10 策略高 1.80±0.42 分,且与最强的固定 K=20 基线表现相当。 这表明 rollout 支持范围是强化学习中采样效率的重要控制变量,为自适应调度设计提供了实证依据。

  17. arXiv · ML36

    Direct Preference Optimization (DPO) 的统计学习理论

    研究通过“三角卷曲”刻画 DPO 中 Bradley-Terry 模型假设失效导致的结构性近似误差,并证明其对最终性能的限制。 论文对 ReLU 评分模型及裁剪模型推导了显式近似速率,建立了有限样本界限,区分了模型容量不足与结构性误设的影响。 结果将 DPO 目标与上下文偏好准确性(CPA)关联,将超出风险上界转化到 CPA 度量上。

  18. arXiv · ML30

    FracTS:层次化自回归时间序列生成模型

    论文提出 FracTS,一种层次化由粗到细的自回归模型,用于生成多元时间序列。 FracTS 适应时间序列结构化特性,通过多尺度表示捕捉全局轨迹结构与局部动力学。 在五个数据集上,FracTS 预测机器学习效用平均提升 100.0%(无条件)及 75.0%-81.0%(有条件),超越七个基线。

  19. arXiv · ML26

    DROD: 异构设备联邦持续学习的双重比率有序dropout方法

    研究提出了DROD(双重比率有序dropout)方法,用于解决异构模型在联邦持续学习场景下的训练问题。该方法在ResNet-18架构上,通过shortcut和branch双比率机制提取子模型。 在共享参数和FLOP预算下,DROD在异构模型联邦学习策略中取得了最高平均准确率。其优势在ER、DER++和BiC等回放策略下保持稳定。

  20. arXiv · ML29

    PACT:在消费级 GPU 上实现 NVFP4 数据流 LoRA 微调

    PACT 是一个利用原生 NVFP4 GEMM 加速冻结投影的 LoRA 微调系统,旨在降低消费者显卡上的计算与内存约束。 在 16GB RTX 5080 上评估显示,该系统通过复用量化 RMSNorm 输出、保存 NVFP4 激活值用于反向传播,并离线使用 GPTQ 校准冻结权重,实现了比现有方法更低的内存占用和更快的微调速度,且保持具有竞争力的准确率。

  21. arXiv · ML21

    标签空间不匹配扭曲乳腺癌分子分型跨队列评估

    乳腺癌分型模型跨队列评估因标签标准不一而失真,标签空间限制修正主导效果(TCGA-BRCA 准确率 73.76%→79.74%)。 目标标签空间无法从未标记预测中恢复(EM 保留缺失类先验 0.0751),需依据队列文档确保合规性。 多模态融合增益未转移,基因组面板对病理完全缓解预测无额外价值(DeltaAUC +0.0045)。