跳到正文
11月11日周三
  1. arXiv · ML25

    双核张量轮分解与结构缓存加速的张量恢复方法

    论文提出双核张量轮分解(DCTW)与结构缓存加速策略,通过因子化中心核心并复用中间张量,避免显式大规模矩阵乘法。 该方法在复杂度分析中显示优化速度优于显式与隐式更新方案,且限制了排名增长时的峰值内存增加。 实验表明,DCTW 在彩色视频补全和鲁棒去噪任务中,重建质量、计算效率和可扩展性均匹配或超越代表性张量网络方法。

  2. arXiv · ML48

    tritify 实现精确整数算术下的确定性可复现推理

    tritify 开源运行时通过精确整数算术实现跨硬件位级可复现推理,SHA-256 哈希验证输出一致性。 验证覆盖 OLMoE 及 106B 参数 GLM-4.5-Air,在 CPU/GPU 及分布机器上保持比特相同,实现可验证分布式推理。 该机制允许不信任服务器运行模型,由开放标量预言机重推导字节,拒绝单设备加速与机密性声明。

  3. arXiv · ML34

    自举式在线策略蒸馏 BOPD 框架

    针对在线策略自蒸馏(OPSD)在长期训练中因师生分布失配导致性能退化的问题,研究提出自举式在线策略蒸馏(BOPD)框架。 该框架采用两阶段设计:先利用 OPSD 将参考条件信号内化至中间模型,再将该模型蒸馏至全新模型副本,避免误导性监督。 实验表明,BOPD 在数学推理和代码生成任务上的表现优于初始模型及 OPSD 教师模型。

  4. arXiv · ML20

    CP-MLPs: 张量秩视角下绑定与解耦 MLP 块的理论分析

    CP-MLPs 提出张量框架分析 Transformer FFN,揭示绑定与解耦门控块在表达宽度上的差异。 解耦块(如 ReGLU、SwiGLU)在二次交互和角色不对称单项式上宽度效率严格更高,而绑定块(如 ReLU²)适配对称纯幂次目标。 实验表明损失平台低于精确表示宽度,但近似精度由边秩主导,代码已开源。

  5. arXiv · ML36

    注意力手术中的 Sanity Checks:针对表示驱动设计的 Null Models 与 Matched Interventions

    论文在九个预训练模型中验证自注意力移除的收益。数据显示前因 Null 可解释 48% 至 63% 的头值余弦对齐,且该效应非单调依赖模型规模。 在 50.9M 规模下,移除自身 Value 方向降低验证损失 0.0029 nats,显著优于任意固定方向(无显著差异)。这表明仅凭高余弦对齐无法确立冻结模型中的冗余性。

  6. arXiv · ML20

    无需特征学习即可实现上下文内学习:基于旋转不变核机器的研究

    研究表明上下文内学习(ICL)中的泛化实际上是欠拟合,且特征学习并非 ICL 的必要条件。 该研究通过分解旋转不变核机器的特征基,揭示模型先实现泛化,随后退化为记忆化解决方案的过程。 实证分析显示,Transformer 模型通过训练集的高阶统计量进行记忆化学习,证明该核方法理论同样适用于具备特征学习能力的模型。

  7. arXiv · ML31

    DRD-MOPD:域路由增量优化用于多教师在线策略蒸馏

    提出 DRD-MOPD 方法,通过冻结基础模型与可训练组件结合实现多教师在线策略蒸馏,在六项基准测试中取得 32.72% 宏分数。 该方法将样本划分为不同领域并更新独立优化器状态,保留 88.04 至 92.41 度的原始专家几何角度。 导出 BF16 学生模型的增量外部能量占比为 4.90%,优于此前 Open-MOPD 的 97.02% 外部能量分布。

  8. arXiv · ML20

    多模态归因的结构化核代理模型 SKS

    研究者提出结构化核代理模型 SKS,用于多模态系统中的跨样本模态归因。该方法基于结构化组合核和岭回归,在多个基准测试中实现高相关性。 使用 SKS 选择卫星图像时,其模型的平均准确率比基线提高 1.93%,Hessian 迹更低,并准确识别出易发生事故的道路路段。

  9. arXiv · ML23

    Symbolic Imitation Learning 框架:通过离线演示与在线调优提升符号策略的模仿能力

    研究提出 Symbolic Imitation Learning 框架,通过离线数据将 oracle 策略蒸馏为包含线性模型运动原语的决策列表。 该框架结合在线 Augmented-Random Search 调优常数与运动原语,在 20 个基准强化学习任务中匹配 oracle 性能,并在 11 项任务中超越 oracle,同时生成了更具可解释性的策略。

  10. arXiv · ML33

    路径签名在程序归纳中的应用:优于 LSTM 与 Transformer 基线

    该研究将执行轨迹视为高维粗糙路径,使用路径签名变换编码轨迹以合成程序。 在 Karel、List 和 RASP 三个任务中,其对数签名编码器在几乎所有场景下优于 LSTM、Transformer 和 Fourier 基线,数据稀缺时优势最明显。 该方法产生比真实值更短的有效程序,揭示监督数据中的冗余,并诱导更具可解释性的潜在几何结构。

11月10日周二
  1. arXiv · ML41

    LLM前缀缓存淘汰策略重探:复杂算法失效与LRU的稳健性

    针对LLM前缀缓存,分析显示简单的最近最少使用(LRU)算法表现稳健,可媲美复杂策略。 研究基于200亿token生产轨迹,评估了14种淘汰算法,发现会话节奏主导前缀复用,使近期性成为强预测因子。 研究确立了结合快速降级与计算感知淘汰的设计原则,相关模拟器与数据已公开。

  2. arXiv · ML20

    标签偏移重要性权重置信区域:从矩阵求逆到约束的理论优化

    针对标签偏移下重要性权重有限样本不确定性问题,现有基于矩阵求逆的方法导致置信区域过于保守。 提出的直接矩阵约束框架通过联合置信区域与线性规划提取边际区间,推导了可证明更紧的界并保持精确的有限样本有效性。 在 AGNews、MNIST、CIFAR-10 及 nuImages 等基准测试中,该方法生成的置信区间更短、预测集更小。

  3. arXiv · ML30

    多类逻辑回归中 SGD 的序列学习规律与缩放法则

    研究建立多类逻辑回归在高维混合模型下的交叉熵风险缩放法则,揭示学习过程按类别频率从高到低顺序进行的机制。 当类别先验服从幂律分布时,风险动态分解为初始平台期、幂律衰减序列学习期和最终收敛期三个明确阶段。 研究进一步推导了计算最优缩放法则,明确了模型尺寸与训练时间随计算预算变化的具体关系,将线性回归理论延伸至多分类任务。

  4. arXiv · ML38

    数据多样性胜过频率不变性:一项受控自审计的压缩鲁棒深度伪造检测研究

    研究发现,普通 EfficientNet-B0 在 FaceForensics++ 测试集上以 3.66 AUC 优势击败复杂频率架构 CAFRL。 自我审计显示缺陷源于配方而非架构;真实 H.264 变体比合成 JPEG 增强高出 7.3 分。 证据限于 GAN 时代模型,建议通过编码多样性而非架构提升压缩鲁棒性。

  5. arXiv · ML26

    Mosaic:面向可微物理求解器的基准测试套件

    Mosaic 是一个开源可微 PDE 求解器基准框架,通过容器化组件(Tesseract)统一了 14 个求解器的梯度 API。 评估覆盖流体力学、结构力学和传热领域,揭示了计算成本与内存方面存在数量级差异,所有有效求解器均收敛至相似最优解。 该基准明确了内存限制、数值稳定性和设置兼容性是主要实际障碍,代码已开源。

  6. arXiv · ML33

    KITScenes Multimodal:面向自动驾驶的高保真欧洲多模态数据集

    发布欧洲多模态数据集 KITScenes Multimodal,配备超 400 米长程 lidar、4D 成像雷达及高精度 GNSS/INS 定位。 作为公开数据集首次将红绿灯等所有交通元素以重投影精度映射为 3D 拓扑连接数据。 该数据集旨在弥补现有数据在传感器保真度和地理多样性上的不足,并包含四个面向具身 AI 的空间学习基准测试。

  7. arXiv · ML21

    反向传播是否最优?合成梯度提升样本效率的理论分析

    研究提出统一的矢量化反馈框架,证明合成梯度在特定条件下梯度估计均方误差低于反向传播。 作者构建了理论示例说明该样本效率优势可任意放大,并在上下文赌博机与强化学习任务实验中验证了理论结论。 该工作发表于 NeurIPS 2026,从理论上重新审视了基于可微性的默认学习规则。

  8. arXiv · ML20

    Self-Distilling Generative Adversarial Networks (SD-GAN) 被证明可稳定 GAN 训练

    论文提出自蒸馏生成对抗网络(SD-GAN),通过将 EMA 生成器作为教师指导主动生成器,以感知损失提升训练稳定性。 SD-GAN 在简化连续时间 Dirac-GAN 设置下证明了局部渐近稳定性,并有效抑制了寄生循环行为。 在多个架构和数据集上,SD-GAN 改善了 FID 和 random-FID 等指标,且被接收至 NeurIPS 2026。

  9. arXiv · ML30

    HaloProbe:检测并缓解视觉语言模型对象幻觉的贝叶斯框架

    HaloProbe 提出了一种贝叶斯框架,用于检测和缓解视觉语言模型(VLM)中的对象幻觉。该框架通过因子化外部描述统计和内部解码信号,估计 token 级别的幻觉概率。 实验表明,由 HaloProbe 引导的解码在减少幻觉方面比最先进的基于干预的方法更有效,同时保留了字幕效用和语言流畅性。

  10. arXiv · ML30

    Generative AI 提取管理层预期预测经济活动

    利用 Generative AI 从 120,000 多份电话会议转录本中提取管理层经济预期,构建的 AI Economy Score 能在 5 个季度以上提前预测 GDP 增长、生产、就业及工资水平。 该指标优于调查预测及现有指标,行业与公司层面得分捕捉特定活动,复合模型进一步提升了预测力度。 研究结论为宏观经济与微观经济决策提供了增量洞察。

  11. arXiv · AI30

    Trace2ATT&CK:一种基于本地开源大语言模型的内核级遥测数据映射到MITRE ATT&CK的框架

    针对内核级遥测数据难以直接用于自动化威胁检测的问题,论文提出了Trace2ATT&CK框架,实现了在本地基础设施内完成MITRE ATT&CK映射。 该框架通过eBPF采集系统调用,利用本地开源大语言模型将事件分类为进程级溯源图,再归纳为紧凑执行图,使用纯提示或RAG方法进行分类。

  12. arXiv · AI24

    DDBench:面向分布式系统智能体调试的基准测试

    DDBench 发布 60 个来自 13 个开源分布式系统的历史 Bug 基准,填补分布式系统代码修复评测空白。 该基准设置仅症状与增强上下文两种条件,评估 10 个 LLM 发现上下文使通过率提升 19.0 个百分点,且弱模型获益更大。 DDBench 揭示分布式调试需跨进程推理,单一进程基准无法覆盖该维度。