跳到正文
11月11日周三
  1. arXiv · ML20

    无需特征学习即可实现上下文内学习:基于旋转不变核机器的研究

    研究表明上下文内学习(ICL)中的泛化实际上是欠拟合,且特征学习并非 ICL 的必要条件。 该研究通过分解旋转不变核机器的特征基,揭示模型先实现泛化,随后退化为记忆化解决方案的过程。 实证分析显示,Transformer 模型通过训练集的高阶统计量进行记忆化学习,证明该核方法理论同样适用于具备特征学习能力的模型。

  2. arXiv · ML31

    DRD-MOPD:域路由增量优化用于多教师在线策略蒸馏

    提出 DRD-MOPD 方法,通过冻结基础模型与可训练组件结合实现多教师在线策略蒸馏,在六项基准测试中取得 32.72% 宏分数。 该方法将样本划分为不同领域并更新独立优化器状态,保留 88.04 至 92.41 度的原始专家几何角度。 导出 BF16 学生模型的增量外部能量占比为 4.90%,优于此前 Open-MOPD 的 97.02% 外部能量分布。

  3. arXiv · ML20

    多模态归因的结构化核代理模型 SKS

    研究者提出结构化核代理模型 SKS,用于多模态系统中的跨样本模态归因。该方法基于结构化组合核和岭回归,在多个基准测试中实现高相关性。 使用 SKS 选择卫星图像时,其模型的平均准确率比基线提高 1.93%,Hessian 迹更低,并准确识别出易发生事故的道路路段。

  4. arXiv · ML23

    Symbolic Imitation Learning 框架:通过离线演示与在线调优提升符号策略的模仿能力

    研究提出 Symbolic Imitation Learning 框架,通过离线数据将 oracle 策略蒸馏为包含线性模型运动原语的决策列表。 该框架结合在线 Augmented-Random Search 调优常数与运动原语,在 20 个基准强化学习任务中匹配 oracle 性能,并在 11 项任务中超越 oracle,同时生成了更具可解释性的策略。

  5. arXiv · ML33

    路径签名在程序归纳中的应用:优于 LSTM 与 Transformer 基线

    该研究将执行轨迹视为高维粗糙路径,使用路径签名变换编码轨迹以合成程序。 在 Karel、List 和 RASP 三个任务中,其对数签名编码器在几乎所有场景下优于 LSTM、Transformer 和 Fourier 基线,数据稀缺时优势最明显。 该方法产生比真实值更短的有效程序,揭示监督数据中的冗余,并诱导更具可解释性的潜在几何结构。

11月10日周二
  1. arXiv · ML41

    LLM前缀缓存淘汰策略重探:复杂算法失效与LRU的稳健性

    针对LLM前缀缓存,分析显示简单的最近最少使用(LRU)算法表现稳健,可媲美复杂策略。 研究基于200亿token生产轨迹,评估了14种淘汰算法,发现会话节奏主导前缀复用,使近期性成为强预测因子。 研究确立了结合快速降级与计算感知淘汰的设计原则,相关模拟器与数据已公开。

  2. arXiv · ML20

    标签偏移重要性权重置信区域:从矩阵求逆到约束的理论优化

    针对标签偏移下重要性权重有限样本不确定性问题,现有基于矩阵求逆的方法导致置信区域过于保守。 提出的直接矩阵约束框架通过联合置信区域与线性规划提取边际区间,推导了可证明更紧的界并保持精确的有限样本有效性。 在 AGNews、MNIST、CIFAR-10 及 nuImages 等基准测试中,该方法生成的置信区间更短、预测集更小。

  3. arXiv · ML30

    多类逻辑回归中 SGD 的序列学习规律与缩放法则

    研究建立多类逻辑回归在高维混合模型下的交叉熵风险缩放法则,揭示学习过程按类别频率从高到低顺序进行的机制。 当类别先验服从幂律分布时,风险动态分解为初始平台期、幂律衰减序列学习期和最终收敛期三个明确阶段。 研究进一步推导了计算最优缩放法则,明确了模型尺寸与训练时间随计算预算变化的具体关系,将线性回归理论延伸至多分类任务。

  4. arXiv · ML38

    数据多样性胜过频率不变性:一项受控自审计的压缩鲁棒深度伪造检测研究

    研究发现,普通 EfficientNet-B0 在 FaceForensics++ 测试集上以 3.66 AUC 优势击败复杂频率架构 CAFRL。 自我审计显示缺陷源于配方而非架构;真实 H.264 变体比合成 JPEG 增强高出 7.3 分。 证据限于 GAN 时代模型,建议通过编码多样性而非架构提升压缩鲁棒性。

  5. arXiv · ML26

    Mosaic:面向可微物理求解器的基准测试套件

    Mosaic 是一个开源可微 PDE 求解器基准框架,通过容器化组件(Tesseract)统一了 14 个求解器的梯度 API。 评估覆盖流体力学、结构力学和传热领域,揭示了计算成本与内存方面存在数量级差异,所有有效求解器均收敛至相似最优解。 该基准明确了内存限制、数值稳定性和设置兼容性是主要实际障碍,代码已开源。

  6. arXiv · ML33

    KITScenes Multimodal:面向自动驾驶的高保真欧洲多模态数据集

    发布欧洲多模态数据集 KITScenes Multimodal,配备超 400 米长程 lidar、4D 成像雷达及高精度 GNSS/INS 定位。 作为公开数据集首次将红绿灯等所有交通元素以重投影精度映射为 3D 拓扑连接数据。 该数据集旨在弥补现有数据在传感器保真度和地理多样性上的不足,并包含四个面向具身 AI 的空间学习基准测试。

  7. arXiv · ML21

    反向传播是否最优?合成梯度提升样本效率的理论分析

    研究提出统一的矢量化反馈框架,证明合成梯度在特定条件下梯度估计均方误差低于反向传播。 作者构建了理论示例说明该样本效率优势可任意放大,并在上下文赌博机与强化学习任务实验中验证了理论结论。 该工作发表于 NeurIPS 2026,从理论上重新审视了基于可微性的默认学习规则。

  8. arXiv · ML20

    Self-Distilling Generative Adversarial Networks (SD-GAN) 被证明可稳定 GAN 训练

    论文提出自蒸馏生成对抗网络(SD-GAN),通过将 EMA 生成器作为教师指导主动生成器,以感知损失提升训练稳定性。 SD-GAN 在简化连续时间 Dirac-GAN 设置下证明了局部渐近稳定性,并有效抑制了寄生循环行为。 在多个架构和数据集上,SD-GAN 改善了 FID 和 random-FID 等指标,且被接收至 NeurIPS 2026。

  9. arXiv · ML30

    HaloProbe:检测并缓解视觉语言模型对象幻觉的贝叶斯框架

    HaloProbe 提出了一种贝叶斯框架,用于检测和缓解视觉语言模型(VLM)中的对象幻觉。该框架通过因子化外部描述统计和内部解码信号,估计 token 级别的幻觉概率。 实验表明,由 HaloProbe 引导的解码在减少幻觉方面比最先进的基于干预的方法更有效,同时保留了字幕效用和语言流畅性。

  10. arXiv · ML30

    Generative AI 提取管理层预期预测经济活动

    利用 Generative AI 从 120,000 多份电话会议转录本中提取管理层经济预期,构建的 AI Economy Score 能在 5 个季度以上提前预测 GDP 增长、生产、就业及工资水平。 该指标优于调查预测及现有指标,行业与公司层面得分捕捉特定活动,复合模型进一步提升了预测力度。 研究结论为宏观经济与微观经济决策提供了增量洞察。

  11. arXiv · AI30

    Trace2ATT&CK:一种基于本地开源大语言模型的内核级遥测数据映射到MITRE ATT&CK的框架

    针对内核级遥测数据难以直接用于自动化威胁检测的问题,论文提出了Trace2ATT&CK框架,实现了在本地基础设施内完成MITRE ATT&CK映射。 该框架通过eBPF采集系统调用,利用本地开源大语言模型将事件分类为进程级溯源图,再归纳为紧凑执行图,使用纯提示或RAG方法进行分类。

  12. arXiv · AI24

    DDBench:面向分布式系统智能体调试的基准测试

    DDBench 发布 60 个来自 13 个开源分布式系统的历史 Bug 基准,填补分布式系统代码修复评测空白。 该基准设置仅症状与增强上下文两种条件,评估 10 个 LLM 发现上下文使通过率提升 19.0 个百分点,且弱模型获益更大。 DDBench 揭示分布式调试需跨进程推理,单一进程基准无法覆盖该维度。

  13. arXiv · AI38

    LLM 服务框架实证研究:框架、优化算法及实际应用分析

    一项针对开源系统的大规模实证研究分析了五个主流 LLM 服务框架的实际采用情况。 研究发现 vLLM 在流行度和采用率上最高,并行计算、内存管理和网络剪枝是最常用的方法类别。由于缺乏多框架组合使用的普遍性,开发者通常依赖单一框架,但结合框架可补充服务堆栈中的互补能力。 该研究为研究人员、维护者及从业者提供了 LLM 系统采用的实证参考。

  14. arXiv · AI37

    Spatial-IQ:基于层级能力测试解构空间智能

    研究提出 Spatial-IQ 诊断框架,将 3D 堆叠结构中的物体计数拆解为 9 个感知与认知子任务,用于定位多模态大模型在空间推理上的具体短板。 团队利用 NVIDIA Isaac Sim 生成了约 80,000 个带真值标注的 3D 结构数据集,并在自由文本、多选图像和图像编辑三种输出格式下对模型及人类基线进行了评估。

  15. arXiv · ML22

    提出“搜索价值信用”(SVC)以改进进化式自动启发式设计的奖励机制

    为改进自动启发式设计中语言模型生成的奖励机制,研究者提出了“搜索价值信用”(SVC)。 该方法基于程序进入保留集的实际情况及短期父代曝光代理,在无需评估子代的情况下计算候选程序奖励,从而优化在线后训练过程。 在四个组合优化任务的对比中,SVC 在三个任务上取得了六组条件中最高的平均最终搜索性能,支持了利用搜索保留与选择信息构建奖励的有效性。

  16. arXiv · AI22

    数字治国(Digital Statecraft):算法时代的有效治理与合法性基础

    文章提出“数字治国”作为核心组织概念,指出当前数字底层缺乏概念基础且治理合法性缺失,主张从国家形态重构治理理论。 该概念涵盖对国家治理数字系统的权威,以及将算法作为治理工具的部署,并在技术连贯性与合法权威间寻求平衡。 作者推导出十项原则以应对治理失效,强调公共兴趣、人机互补及可问责权威,并呼吁重新思考国家边界与规模以适应用途。

  17. arXiv · AI34

    LibEvoBench:探析代码生成模型中的时间知识分层

    LibEvoBench 发布,旨在评估 LLM 处理多版本 Python 库 API 演进的能力,并引入 SEUS 指标。结果显示 SOTA 模型具有“版本盲点”,在演进 API 上性能下降,仅指定版本无效,但相关文档能显著提升准确率。该发现揭示了现有训练范式的系统性局限,推动时间定位知识在代码生成中的应用。

  18. arXiv · ML30

    频谱表示学习的锐利后悔界与任务协方差校正

    频谱对比学习保留视图间强依赖的k个方向,但下游任务可能需要其他方向。现有保证假设任务分布各向同性,这是错误标准。 在线性探针下,任务分布仅通过矩阵 BΛB^T 影响平均探测增益,最优特征应张成其前k个特征子空间,而频谱特征张成 BB^T 的特征子空间。

  19. arXiv · ML33

    Steering Interference Reflects the Model's Defaults, Not the Behavior Directions

    激活引导无法实现模块化控制,其干扰主要反映模型默认行为而非目标方向。 在 Qwen2.5-7B 上,引导主要降低未引导答案表现,提升拒绝、谄媚和诗意等默认行为。 基于 10 个指令微调模型和 24 种行为的数据,单向干扰结构和几何预测失效证实了解耦行为方向无法使引导模块化。