跳到正文
11月18日周三
  1. arXiv · ML37

    PANO 并行隐空间神经算子求解偏微分方程

    提出 PANO 神经算子,通过并行隐空间共享参数建模物理交互,在九个基准上达到 SOTA 性能。 该方法包含 CAP 编码解码映射及 PaLA 跨空间注意力层,Unilateral Stamping 误差降低 28.3%,AirCraft 误差降低 21.4%。 代码已开源,涵盖不同几何与观测规模的物理系统。

  2. arXiv · ML28

    在线共形预测中硬性覆盖约束的效率代价

    在线共形预测中,满足硬性覆盖约束的最小累积额外预测集大小在固定时间、最大期望成本及最坏情况下分别为 $\Theta(\log T)$、$\Theta(T^{1/3})$ 和 $\Theta(\sqrt{T})$。 这些速率可通过利用历史得分实现,无需已知得分分布,且即便拥有总体最优预测集的完美知识,该效率代价依然持续存在。

  3. arXiv · ML23

    Fair Bubble Sort:基于连续敏感属性的可证明最优公平排序算法

    论文提出 Fair Bubble Sort (FBS) 算法,实现无需离散化的连续敏感属性公平排序,获证在无权重 Kemeny 距离下精确最优。 FBS 基于目标相邻交换实现后处理,运行时间取决于所需交换次数;实验显示其可扩展性强且 Pareto 前沿优于离散化基线。 该成果已被 NeurIPS 2026 接收,代码已公开。

  4. arXiv · AI21

    Outcome-Balanced PPO 与策略诱导流整流用于基于流的 VLA 策略

    针对基于流视觉-语言-动作(VLA)策略的强化学习后训练,提出结合 Outcome-Balanced PPO 与策略诱导流整流的方法,以提升模拟操作基准的任务成功率。 Outcome-Balanced PPO 基于任务成功率重新加权正优势,并调整正负优势幅度;策略诱导流整流通过拟合当前策略生成的 ODE 端点对,周期性刷新随机转换中的速度场几何表征。

  5. arXiv · ML25

    ToR-OT:基于自回归 token 回归的最优传输计划学习方法

    研究者提出 ToR-OT,一种基于 transformer 的模型,通过自回归 token 回归预测离散最优传输(OT)计划。 ToR-OT 将 OT 重构为结构化序列生成任务,解码器仅预测非零项,利用精确离散解的稀疏性避免输出密集耦合矩阵。 该模型旨在探索自回归 transformer 学习受限优化问题结构的能力,目前尚不能替代经典求解器。

  6. arXiv · ML21

    去噪生成优化框架:收敛性与多样性分析

    论文建立了噪声无关去噪生成的优化框架,将生成过程解释为固定对数密度景观上的梯度上升,并证明了轨迹在 $O(m\sigma_{min}^2/\tau)$ 内几乎必然收敛至参考流形。 研究推导了源汇恒等式以证明有限分辨率的区域覆盖性,并在仿射构造中识别出能避免记忆化且保留多样性的正带宽机制。 实验结果证实了预测机制,展示了在大步长引导下的鲁棒性提升及与有限数据生成泛化一致的性能增益。

  7. arXiv · AI37

    迈向数据高效、实时的世界模型

    该研究通过双阶段离散扩散方法取代下一词元预测,实现了 79 倍推理加速。 模型仅需约 28 小时的游戏数据即可训练,生成高质量且一致的游戏序列。 这一进展降低了实时交互与创意领域应用世界模型的门槛。

  8. arXiv · ML25

    大语言模型作为非线性动力系统:深度、训练与生成的三个时钟

    论文构建“三时钟词典”,将十五个非线性动力学概念映射至Transformer层迭代、训练步骤与Token生成,并推导简化模型如Softmax玻尔兹曼分布。 在开源模型GPT-2与Pythia上验证,重复循环逃逸遵循阿伦尼乌斯定律,逃逸温度随生成长度N按$1/\ln N$下降,且训练使各层更具扩展性。 提出十二个开放问题,旨在利用非线性动力学解决语言模型控制难题,当前控制器尚未超越最佳固定温度策略。

  9. arXiv · ML42

    GPT-6 Astra与Claude Fable 5.1通过权重空间编程直接编辑拖拉机引导控制器

    GPT-6 Astra与Claude Fable 5.1在无梯度下降下直接读写神经网络权重,为拖拉机引导控制器编程。 253参数网络控制车辆沿线弧路径行驶,模型仅通过少量模拟评估即成功修复原网络或从零构建有效控制器,且无需人工干预即可控制真实拖拉机,误差与纯追踪策略相当。

  10. arXiv · ML35

    KVUse:面向高效 LLM 推荐系统的可复用 KV 用户记忆框架

    研究人员提出 KVUse 框架,通过将用户画像存储为可复用的 KV 缓存而非文本,解决了 LLM 推荐系统中重复预填充导致的性能瓶颈。 该方法利用自蒸馏训练的 LoRA 写入器生成 KV,并配合自定义调度器隐藏传输延迟。在 Llama-3.1-8B-Instruct 及 InstructRec 数据集测试中,系统吞吐量提升 4.0x-4.5x。

  11. arXiv · ML37

    稀疏注意力中头部选择缺陷的诊断与修复

    稀疏注意力模型在固定预算下常因选择器低估关键token而损失长上下文检索精度。研究通过校准探针定位到特定"盲点"注意力头,发现全量注意力或4-bit评分器可恢复性能。 在InfLLM-V2和MiniCPM4.1-8B上,该修复方法将多键检索准确率从54.1%提升至97.5%,且保留了84%至89%的TTFT优势。

  12. arXiv · ML20

    稀疏模型变化下在线强化学习的自适应记忆算法

    针对环境在部署间发生稀疏变化的折扣强化学习问题,提出一种自适应复用历史观测的算法。 算法按状态-动作对动态选择重用多少历史数据,通过一致性检验确定最佳观测窗口。 理论证明当状态空间规模与变化率乘积满足条件时,仅需最近 O(1/ε) 次部署数据,即可实现长期平均差距为 Õ(√(ε/H)) 的性能。

  13. arXiv · ML31

    Masked 扩散语言模型 MoE 解码隐藏成本:Profilng 与修复采样器

    26B 参数 MoE 扩散模型在带宽受限加速器上解码时,量化后 logits 采样流水线取代专家 GEMM 成为最大耗时来源。 该流水线处理 S 倍冗余 logit 条目,通过双层无损优化和 W4A16 专家内核,在 GSM8K、HumanEval、MATH 基准测试精度不变的情况下,实现 2.4-2.7 倍端到端加速。 该性能瓶颈特定于 MoE 扩散模型,代码和量化权重已开源。

  14. arXiv · ML35

    RSC 在强化学习智能体任务中提升样本效率

    引入 RSC 方法,通过添加反向 KL 散度罚项稳定异步强化学习,结合截断重要性采样(TIS)可在同等采样响应下获得更高训练奖励。 在数学推理和涵盖在线购物、工具使用等六大智能体基准测试中,RSC 配合 TIS 显著提升了样本效率。 在 AppWorld 任务上性能提升 14.3%,在 BabyAI 上达到最强基线分数的 9.9 倍。

  15. arXiv · AI21

    Fidelity Regret 提出仿真器误设测量指标

    研究人员提出“保真度后悔值”以衡量仿真器误设,覆盖 21,362 个设计和 5 种门库,72 个单元的归一化平均后悔值为 0.369,仅 6 个为零。 该指标揭示验证器与物理性能目标间的差距,固定重评分规则可将平均超额后悔值降至 0.016,相比廉价仿真器选择的 0.305 显著提升。 该框架为科学领域中检测并缓解数字孪生与真实物理目标偏差提供了可迁移方案。

  16. arXiv · ML31

    大语言模型对齐方法的边际动力学理论

    研究为 LLM 对齐方法提供理论基础,证明 DPO 边际在梯度流极限下呈 $O(\log t)$ 无界增长,而 IPO 收敛至 $1/(2\tau)$。 实验验证 DPO 在标签噪声下发生定性相变,且 SimPO 加入平滑 $\varepsilon$ 后存在有限吸引子。该理论在 5 个模型族、4 个基准上通过验证,并推导 TPO-S 在 IFEval 取得最高均值。

  17. arXiv · AI28

    推理语言模型剪枝中归因测量的脆弱性

    研究发现,基于归因的剪枝在推理语言模型中测量不可靠,评分最终答案 token 会导致模型困惑度上升或准确率下降 27.6 至 32.2 分。 因果重要性无法定位到单个神经元,需以约 100 个神经元的组为粒度进行归因,且“推理特异性”重要性与通用重要性不可分离。 建议剪枝时应以推理 token 为评分对象,并优先使用准确率而非困惑度评估模型性能。

  18. arXiv · ML38

    DeltaHarness:资源自适应工具执行的自进化执行框架

    论文提出 DeltaHarness,一种执行引导的策略搜索方法,通过冷启动测量自适应智能体执行框架。在固定调度的视频编辑任务中,修订后的物化策略使完整交付延迟降低 30.0%。 在未留出任务上,进化策略使延迟分别降低 8.2% 和 4.6%。独立确认面板用于控制策略替换,以解决运行时不确定性。

  19. arXiv · AI35

    MathEye:通过天使执行优化 LLM 数学证明

    MathEye 框架将 LLM 生成的不完美证明转化为经完整验证的 Lean 证明。 核心机制采用天使执行(angelic execution),通过 MaxSAT 优化确定最小必要证明义务,在分析和代数的 30 个基准测试中解决 93.3% 问题。 该方法将用户交互次数减少 55%,在保留证明结构的同时降低了人工修正成本。

  20. arXiv · AI22

    DNeo:通过改进目标特征编码提升并行草稿模型

    研究者提出 DNeo,通过 Mixture-of-Features Attention 机制实现比 SoTA(DFlash-2)快 1.3 倍的生成速度,且不增加草稿模型体积或降低质量。 MoFA 引入工作记忆编码被拒提案,结合 2-tap 因果卷积、前缀交叉注意力及非均匀目标层选择,解决标准特征编码有损、无记忆及特征采样均匀的局限。

  21. arXiv · AI63

    arXiv 论文提出语言模型可通过自身推理无梯度重写权重实现自我改进

    arXiv 论文提出语言模型可通过自身推理在无梯度和无训练情况下重写权重以实现自我改进。27B 模型在 490 道未见过的题目上准确率提升 6.6 点,且能在 8 次会话中持续累积收益。该能力还能修复受损模型副本,将六个图像基准测试的准确率从 7% 提升至 70%,并且随模型规模扩大而显现。

    推荐理由:研究展示了模型利用自身推理无梯度编辑权重的可能性,其准确率提升效果可迁移至未见过的测试场景。