跳到正文
11月19日周四
  1. arXiv · ML32

    扩散模型是稀疏恢复的高效先验:多项式时间可证明恢复

    研究证明,使用捕捉稀疏性的Bernoulli-Gaussian先验的扩散模型,结合似然引导退火Langevin采样器,能在多项式时间内以近最优样本复杂度恢复稀疏信号。 该结论适用于广泛的随机与确定性感知矩阵,并在信号符合先验时建立后验采样的全变差保证。 这些结果为基于扩散先验的反问题求解器奠定了统计与计算高效的理论基础。

  2. arXiv · AI42

    OCTR2A:城市路口实时 RGB 转 BEV 轨迹投影与预测

    OCTR2A 架构利用对角 RGB 相机重建并预测鸟瞰图(BEV)轨迹,实现城市路口实时感知与预测。 该模型在单张消费级 GPU 上实时运行,预测 ADE/FDE 达 0.154/0.241 米;相比 SIND 基准 SOTA,预测精度提升 66.7%/41.7%。 R3ST++ 合成基准支持真实场景适配,无需 LiDAR 或 HD 地图等昂贵资源。

  3. arXiv · ML22

    CoSlice:面向 5G 网络切片资源分配的协同多智能体强化学习框架

    CoSlice 框架通过协同多智能体强化学习解决 5G 切片资源共享难题,在多样化负载下显著降低平均和尾部 SLA 违规率。 该框架采用偏好条件切片智能体实现快速资源分配,并结合 LLM 协调器基于全局网络观测在较慢时间尺度上动态调整目标,同时推导了次线性遗憾界。 实验基于 ORANSlice 及其射频仿真器 RFsim 构建评估环境,结果验证了该方法优于其他集中式及多智能体基线。

  4. arXiv · AI24

    基于 Rubric 的奖励聚合中奖励增益不平衡如何影响排序

    基于 Rubric 的强化学习通常等权聚合评分,但评分异质性会扭曲候选排序。研究发现,消除奖励增益不平衡反而降低排序准确率,误排主要集中在该项削弱基础信号的样本对。 该方法提出自适应 DCC 聚合,通过设定裁剪区间限制单准则贡献度,在保留连续判断信息的同时抑制极端分影响。

  5. arXiv · AI21

    SixthView:针对隐藏视图重建与 3D 装配推理的基准测试

    推出包含 602 个合成多立方体装配的基准测试 SixthView,要求模型根据五个正交视图预测第六个隐藏视图。 涵盖 2 至 10 个部件的装配体,采用精确网格评估,确保所有合法装配产生一致的隐藏视图。 在 552 项完整评估中,结合图像与精确文本的准确率范围 33.2% 至 85.4%,添加精确文本显著提升性能。

  6. arXiv · ML21

    LLM 在高利害风险预测中问题构建的有效性:决策依赖的挑战

    LLM 在缺乏提示指导时无法可靠处理高利害风险预测中的决策依赖问题。 测试了 OpenAI 和 Anthropic 的 11 个模型,当提示明确指定目标、假设和程序时,目标对齐实现率达 99-100%。 研究建议分析师需通过明确的方法论指导和仔细审查来使用 LLM,而非依赖其自主构建预测问题。

  7. arXiv · ML34

    ReLU 网络中仅偏差项训练的动力学研究

    研究揭示了随机初始化固定权重、仅训练偏差项的 ReLU 网络作为通用近似器的动力学机制,证明梯度依赖激活码。 理论表明在激活码固定时,训练简化为线性最小二乘问题,且宽网络中神经元的激活切换比例随宽度增加而消失。 实验结果支持理论发现,确认在无限宽度极限下训练动力学趋近于基于初始激活码的线性最小二乘。

  8. arXiv · ML30

    神经网络决策边界几何特性的可视化与测量方法

    研究人员提出一种直接在高维输入空间可视化并测量人工神经网络(ANN)决策边界几何特性的方法。 该方法避免了传统投影技术带来的失真,分析不同架构和训练方法下的边界曲率与距离。边界距离随子空间增大而平缓增长,且训练方法对边界特性影响远大于架构或准确率。 此方法为改进神经网络的可解释性和理解机制奠定了基础。

  9. arXiv · ML24

    Probing Physics in Motion Diffusion Models Against Their Own Estimate 揭示运动扩散模型中物理知识的隐藏特性

    研究发现,MDM 和 MotionDiffuse 模型在平衡与飞行任务中,深层激活的信息提取收益不超过 0.01。跳跃下落率存在明显例外,MDM 早期去噪阶段线性探针的 R² 增益约为 0.08,且随采样进行而消退。该发现表明,评估模型物理认知需区分信息可读性与模型自身估计能力,对理解生成模型内部机制具有重要意义。

  10. arXiv · ML47

    RSIBench-Infra:Agent 能否在生产规模下优化自身训练与推理基础设施?

    研究团队发布 RSIBench-Infra,这是包含 20 个训练与推理任务的基准,涵盖 NVIDIA GPU 和 Ascend NPU。 任务部署最多使用 32 个加速器,Agent 可修改引擎、内核和指令层级的软件栈,通过 OCI 镜像层协议提交更改。 结果显示 66.2% 的任务实现了超过 1.10 倍的速度提升,证明当前 Agent 能改进生产级性能,但策略转化仍具挑战。

  11. arXiv · ML29

    循环神经网络中的时间秩

    summary_zh: 研究识别出循环神经网络(RNNs)受限于秩约束隐藏状态动态导致的时间信息瓶颈,该限制独立于梯度稳定性。 作者引入结构化高维状态动态以保持时间可分离性,防止输入到状态雅可比矩阵饱和;在受控序列任务中模型学习迅速。

  12. arXiv · ML30

    LLM辅助多保真贝叶斯优化:融合专家知识与数值数据

    该研究提出LLM辅助多保真贝叶斯优化(MFBO)方法,通过LLM解释专家关于低保真模型缺失物理效应的定性知识,生成知识基并将其纳入多保真模型。 在锂离子电池设计问题中,该方法将常规MFBO的遗憾曲线面积减少61%。受控实验表明,知识质量而非LLM选择决定了搜索加速效果,且知识层级消融量化了各陈述贡献。 结果表明LLM解释的专家知识可作为数值数据的补充信息源。

  13. arXiv · AI25

    Risk-Triggered Search (RTS) 实现行为保持的安全控制

    针对预训练视觉世界模型难以避免碰撞的问题,提出风险触发搜索(RTS)方法。 RTS 基于冻结 JEPA 模型,通过轻量级风险头预测动作条件未来风险,仅对触发警报的计划执行 CEM 搜索。 该方法在五项任务上将 Safe Arrival Rate 提升 12.67–41.67 个百分点,并降低 17.71–70.41% 控制器时间。

  14. arXiv · AI28

    CaDO:一种形式化验证引导的多智能体因果数据集修复与生成框架

    CaDO 框架在 18 组实验中的 16 组显著优于最强数据清洗基线,将下游模型准确率提升高达 9.1%。 该框架通过形式化因果推理、多级诊断和自动修复生成三阶段工作,95% 以上标记样本确认为缺陷,在 CLadder 上错误修改正确标签比 LLM 裁判少 92.2%。 代码和数据已公开可用,可促进高质量因果推理数据集的发展。

  15. arXiv · AI38

    超时级联策略降低编码智能体推理成本

    研究提出超时级联策略,优先运行小模型,仅在必要时升级大模型。 该策略在 SWE-bench Verified 基准上将总 GPU 小时成本降低 33%,整体任务降低 16.4%,且准确率无损失。 级联策略性能接近最优任务路由器,为生产环境部署低成本编码智能体提供了低工程复杂度的实用路径。

  16. arXiv · ML26

    MRPD 提出多专家重放策略蒸馏,实现长程 RL 专家高效整合

    该研究提出多专家重放策略蒸馏(MRPD),通过重放专家训练日志进行整合,无需额外采样或调用环境。该方法计算成本仅为原 RL 训练成本的大约七分之一。 在推理、搜索和 SQL 三个长程智能体领域,MRPD 生成的学生模型显著优于在线 RL 基线。实验表明日志顺序比数量或奖励更重要,表明专家训练日志实质上是课程学习而非数据混合。

  17. arXiv · ML36

    Kernel Ridge Attention: 结合非线性特征与选择性遗忘的循环序列混合器

    新型循环序列混合器 Kernel Ridge Attention (KRA) 结合学习非线性特征与协方差引导的记忆更新。 通过递归岭回归存储关联,利用 Ornstein-Uhlenbeck 过渡控制保留率,使推理状态大小独立于上下文长度。 在语言建模实验中,KRA 预测质量优于注意力及循环基线模型,并实现高效的分布式训练吞吐量。

  18. arXiv · AI29

    Test-Time Symmetrization: Scaling Laws for Model-Agnostic Learning under Structure

    研究证明 $O(\log |G|)$ 次随机重写足以替代单一表示的重复采样,恢复所有 $|G|$ 次重写提供的信息,且该对数扩展律在一般情况下是最优的。 理论表明,只要模型答案依赖于输入写法,在相同前向传递次数下,将计算预算用于重写输入而非重复采样原始提示词,准确率会显著提升。

  19. arXiv · ML36

    Toaster:基于级联线性记忆与目标传播的非线性记忆模型

    Toaster 通过组合两个线性记忆层并引入激活函数,构建了两层非线性记忆架构,利用目标传播机制更新隐层状态。 在 C4 和 PG19 数据集上,Toaster 的困惑度在所有测试尺寸(0.2B-1.6B)均优于 KDA 并匹敌或优于注意力基线,最大模型三试准确率 51.84%。 在 20K token 长度外推中表现稳定,且比 Titans 快 2.8-5.5 倍,提升了长序列处理效率。

  20. arXiv · ML23

    基于不完备分数的反向扩散误差累积分析:超越路径空间

    该论文表明,当目标分布 $p$ 满足 Poincaré 不等式时,可通过规避“路径空间”分析来缓解扩散采样器的误差累积。 现有理论中采样误差随时间线性多项式累积,本文通过放宽度量至弱度量,在更广泛的框架下实现了这一结果。 研究进一步揭示,给定分数误差界,扩散采样器在总变差距离上几乎达到最优识别精度。

  21. arXiv · AI21

    结构化表征建模 LLM 推理动态

    T/E/S 结合文本、局部事件和活动跨度,在 76 个评估组中,对 Transformer 和 Qwen 的下一结果预测准确率分别达到 70/76 和 74/76。 通过有限过程实验,取消共享延续质量的边界恢复了最优动作,将平均推理 CPU 时间减少 77.7%;在 71 个 HotpotQA 和 MuSiQue 保留集上,Brier 损失从 0.0836 降至 0.0756。