跳到正文
11月4日周三
  1. arXiv · ML77

    TabPFN-3 技术报告:扩展至100万行训练数据的表格数据基础模型

    TabPFN-3 将表格数据基础模型扩展至支持 100 万行训练数据,推理速度较前代快 20 倍。在 TabArena 基准上,该模型通过单次前向传播超越所有其他模型并占据性能-速度帕累托前沿;其 API 版本 TabPFN-3-Plus 在 100 万行子集上比第二名高 420 Elo,比 AutoGluon 1.5 extreme 快 10 倍。

    推荐理由:报告展示了TabPFN-3在100万行数据上的预测能力,并引入测试时计算扩展机制,为表格数据基础模型提供了性能与效率的新基准。

  2. arXiv · ML25

    机器学习如何通过概率管理复杂性

    研究提供计算复杂性视角,将机器学习抽象为生成P/poly可计算分布,通过压缩数据移除随机性保留结构。模型无法区分伪随机与真随机,将不可预测部分视为噪声,最佳损失对应数据下一位伪熵。该理论澄清了机器学习在复杂系统中的建模边界。

  3. arXiv · ML36

    上下文学习电路解析:3-4B Transformer中的键值记忆机制

    研究揭示了few-shot句子分类中上下文学习的电路组成。模型利用标签token位置构建键值记忆,中间层注意力头写入类别键值,上层头部匹配并读出标签。 该机制受早期层重复标签信号门控,独立头抑制最近标签。通过因果激活patching和消融实验验证,此电路在0.6B至8B模型家族中保守且可迁移。

  4. arXiv · ML26

    Bevy 提出基于跨层前瞻的请求调度方法,无需预测专家即可加速本地 MoE 推理,在双节点平台上实现 3.46 倍解码吞吐提升

    针对大语言模型本地部署场景,研究提出名为 Bevy 的新推理系统,通过跨层前瞻的请求调度取代传统的专家预测预取。该方法在请求专家可用时先执行至后续层,再并行获取缺失专家,实现计算与通信重叠。在两个本地测试平台上,其解码吞吐量最高可达其他预取方法的 3.46 倍,且无需额外维护预测模型。

  5. arXiv · ML41

    两层随机 ReLU 网络能分离不相交类别

    研究证明,在有限 ReLU 网络中,正间距分离等价于存在有限闭合凸覆盖,且仅需要两层隐藏层即可实现。 当类别表示为有限闭合凸集并满足特定几何条件时,两层独立随机 ReLU 层以高概率产生公共正间距仿射分离器,所需网络宽度与球面差锥截面的最大高斯宽度平方成正比。

  6. arXiv · ML32

    蒸馏学生模型在何处存储思维?

    研究通过比较三组师生模型在缩短长解答时的 LoRA 适配器,发现思维行为关联于特定的更新子空间。 当教师停止思考时,该共享子空间能量降低甚至清空;移除它会显著关闭反思标记等思维特征,验证了其在权重中的定位。

  7. arXiv · ML21

    早期退出与 ResNets 的最优控制基础:转向现象

    研究将最优控制理论应用于 ResNets 早期退出,证明联合优化下存在转向现象(Turnpike Phenomenon)。 转向现象意味着达到特定损失水平所需的层数上限与网络总深度无关,内部表征呈现跨深度相似性。 该理论解释了过度思考(Overthinking)现象,并为基于 softmax 概率的早期退出准则提供了见解。

  8. arXiv · ML39

    基于特征干扰的LLM后训练SFT普遍能力退化(PCD)统一理论及AEGIS损失方法

    针对LLM监督微调(SFT)引发的普遍能力退化(PCD),论文构建了基于特征干扰的几何理论,并提出了AEGIS损失来抑制干扰。 该理论将现有方法统一为六种范式,并证明交叉熵损失无法单独解决PCD。在3个模型族和14个SFT任务上,AEGIS在目标任务和普遍能力上均优于现有方法。 该方案计算成本仅为标准SFT的约1.3倍,具备通用性和机制可解释性,为彻底解决PCD提供了新视角。

  9. arXiv · ML24

    随机热方程的深度神经算子学习

    论文建立了半线性随机热方程解算子的通用逼近定理,将深度神经算子结果扩展至分布值高斯驱动的SPDEs。 使用光滑傅里叶截止减少驱动项至有限测量,并通过ReLU分支网络近似有限维解映射,为线性方程提供Wiener混沌截断视角。 证明了随机Navier-Stokes方程的高概率局部时间近似定理,具有明确的感知率。

  10. arXiv · ML27

    DPPG:基于扩散模型的强化学习策略网络参数生成框架

    论文提出 DPPG 框架,利用基于 Transformer 的自编码器和条件扩散模型,实现强化学习策略网络参数的生成。 该方法通过 Patchify 参数实现高压缩率,在 Classic Control、Atari 和 MuJoCo 等多领域任务中合成了高性能策略。 在未见过的环境中,DPPG 生成的策略收敛速度更快,展现了参数生成的应用潜力。

  11. arXiv · ML22

    李群指数家族下的变分学习框架

    研究提出李群指数家族下的变分学习框架,解决深度神经网络变分贝叶斯学习中参数约束和高方差梯度估计难题。 该框架扩展至任意一般李群,并证明了李群算法的线性近似可推广标准自然梯度变分学习方法如BLR。 通过李群表示构造高效可实现的变分学习算法,为深度学习提供系统化新路径。

  12. arXiv · ML48

    Sketchpad:利用小型视觉语言模型实现经认证的精确算术

    Qwen3.5-0.8B 配合低秩适配器在 Sketchpad 框架中实现了任意长度算术的精确计算,所有 2,446 个视图测试均通过。该模型在浏览器运行,解决了 200/200 预注册问题及长位数加减乘除运算,表现优于 GPT-6.1 Sol。 代码采用 Apache 2.0 许可证开源,符号运行时支持多项式求解与因式分解,适配器门控可恢复基础模型功能。

  13. arXiv · ML28

    RAPID: 通过随机化方法提升内部蒸馏效率

    RAPID 提出基于 Johnson-Lindenstrauss 引理的内部蒸馏新方法,消除传统投影矩阵训练开销。 该方法结合 EMA 与同质性不确定性加权,优化多目标损失函数结构。 实验显示在推理后训练中提升效率 21.1%,性能与现有方法相当。

  14. arXiv · ML41

    基于LLM因果推断的鲁棒性压力测试

    研究者提出覆盖模型规模、因果图复杂度等六个维度的系统压力测试框架。 测试揭示LLM存在显著“乐观偏见”,高估因果链接导致精准率低,且忽视不确定性会使评测指标产生欺骗性高分。 该工作作为实践指南,明确LLM在因果发现流水线中可靠应用与易误导研究的边界。

  15. arXiv · AI28

    首词广播机制:Transformer 语言身份起源与分布鲁棒性

    提出语言身份注意力头消融法(LIHA),用于定位 Transformer 中维持输出语言的关键注意力头,并验证其跨语言迁移性。 GPT-2 中 L6H1 等“首词广播头”对语言切换率影响显著(切换率 0.32,高出均值 3.23σ),而 Qwen2.5-1.5B-Instruct 的因果影响集中于第 0 层(L0H5 切换率 0.224)。

  16. arXiv · AI27

    MathlibPR 提出形式化数学库 PR 合并结果基准

    summary_zh: 研究团队基于 Mathlib4 真实 PR 历史提出 MathlibPR 基准,用于评估 LLM 辅助形式化推理能力。 DeepSeek、Qwen 等模型与 Codex、Claude Code 等 Agent 在区分可合并与仅构建通过的 PR 时表现不佳,且阶段式评估协议显示 LLM 难以独立判断 PR 是否值得整合。

  17. arXiv · AI42

    FlowDrive:通过数据平衡与调制流匹配的轨迹规划方法

    FlowDrive 提出调制流匹配轨迹规划器,通过轨迹模式重加权缓解驾驶数据长尾分布偏差,在 nuPlan 和 interPlan 基准测试中达到学习类规划器最先进的性能。 该规划器通过有调节的在环引导注入小扰动,在保持场景一致性的同时系统增加轨迹多样性,FlowDrive* 变体在几乎所有测试划分上实现整体最先进水平。

  18. arXiv · AI26

    强化学习如何修正经济模型中的结构性与参数偏差:从个体学习走向市场均衡

    研究发现,标准强化学习智能体在模拟经济模型时会因内化市场影响力而收敛至垄断分配,而非竞争均衡。 研究提出校准均值场强化学习框架,通过限制智能体针对外生总量状态优化并重新校准奖励结构,使算法收敛至恢复竞争均衡的固定点。 该方法为将学习算法嵌入动态一般均衡模型提供了技术路径。

  19. arXiv · AI28

    SAGE:通过拓扑引导缓解长期推理偏差

    研究团队提出 SAGE 框架,结合代数稀疏化与双曲结构引导,在 12 个基准测试和 7 个模型族中性能优于基线。 该框架通过投影局部可接受候选项至代数子空间抑制伪分支,并利用负曲率嵌入提供深度信号,解决稀疏奖励下的探索与复合偏差。 SAGE 在 Andrews-Curtis 问题上实现 8 倍性能提升,相关代码已开源。

  20. arXiv · AI38

    基于权重空间频谱指纹追踪 LLM 谱系

    研究提出统一几何指纹框架,通过分析权重矩阵的频谱能量与子空间对齐,在无输入数据情况下追踪开放权重 LLM 的谱系。 该框架区分独立来源、同系列及共享基础模型,在超过 110 对开放权重 LLM 上验证,有效支持模型溯源与供应链完整性治理。