双核张量轮分解与结构缓存加速的张量恢复方法
论文提出双核张量轮分解(DCTW)与结构缓存加速策略,通过因子化中心核心并复用中间张量,避免显式大规模矩阵乘法。 该方法在复杂度分析中显示优化速度优于显式与隐式更新方案,且限制了排名增长时的峰值内存增加。 实验表明,DCTW 在彩色视频补全和鲁棒去噪任务中,重建质量、计算效率和可扩展性均匹配或超越代表性张量网络方法。
论文提出双核张量轮分解(DCTW)与结构缓存加速策略,通过因子化中心核心并复用中间张量,避免显式大规模矩阵乘法。 该方法在复杂度分析中显示优化速度优于显式与隐式更新方案,且限制了排名增长时的峰值内存增加。 实验表明,DCTW 在彩色视频补全和鲁棒去噪任务中,重建质量、计算效率和可扩展性均匹配或超越代表性张量网络方法。
单细胞反事实编辑中线性交叉协方差惩罚无法完全分离信息,需引入核方法应对非线性交互。 研究通过模拟实验证实,添加归一化希尔伯特-施密特独立性准则能恢复真实干预效应。 该非线性概念瓶颈模型在单细胞RNA-seq数据中提升了反事实表达谱生成能力。
tritify 开源运行时通过精确整数算术实现跨硬件位级可复现推理,SHA-256 哈希验证输出一致性。 验证覆盖 OLMoE 及 106B 参数 GLM-4.5-Air,在 CPU/GPU 及分布机器上保持比特相同,实现可验证分布式推理。 该机制允许不信任服务器运行模型,由开放标量预言机重推导字节,拒绝单设备加速与机密性声明。
针对在线策略自蒸馏(OPSD)在长期训练中因师生分布失配导致性能退化的问题,研究提出自举式在线策略蒸馏(BOPD)框架。 该框架采用两阶段设计:先利用 OPSD 将参考条件信号内化至中间模型,再将该模型蒸馏至全新模型副本,避免误导性监督。 实验表明,BOPD 在数学推理和代码生成任务上的表现优于初始模型及 OPSD 教师模型。
CP-MLPs 提出张量框架分析 Transformer FFN,揭示绑定与解耦门控块在表达宽度上的差异。 解耦块(如 ReGLU、SwiGLU)在二次交互和角色不对称单项式上宽度效率严格更高,而绑定块(如 ReLU²)适配对称纯幂次目标。 实验表明损失平台低于精确表示宽度,但近似精度由边秩主导,代码已开源。
在低学习率的 RL 后训练中,标准 BF16 混合精度训练因权重粘滞导致收敛速度慢于 FP16。 作者提出在将 FP32 影子权重量化为 BF16 时应用随机舍入,该方法在多个模型和数据集上匹配了 FP16 的收敛速度,同时避免了提高学习率带来的 KL 散度增加,且无需损失缩放。
论文在九个预训练模型中验证自注意力移除的收益。数据显示前因 Null 可解释 48% 至 63% 的头值余弦对齐,且该效应非单调依赖模型规模。 在 50.9M 规模下,移除自身 Value 方向降低验证损失 0.0029 nats,显著优于任意固定方向(无显著差异)。这表明仅凭高余弦对齐无法确立冻结模型中的冗余性。
研究提出“RSI 税”概念,将递归自我改进的 token 成本计入端到端评估。在持续任务流中,有界笔记基线的准确率匹配或超过 Meta-Harness 等三种 RSI 方法,且总 token 成本平均节省 65.6%-71.0%。
研究提出 Deep Personalization 框架,通过 Observer Agent 持续观察桌面活动并适配干预时机,利用隐式反馈提升主动 Agent 的个性化支持效果。
研究表明上下文内学习(ICL)中的泛化实际上是欠拟合,且特征学习并非 ICL 的必要条件。 该研究通过分解旋转不变核机器的特征基,揭示模型先实现泛化,随后退化为记忆化解决方案的过程。 实证分析显示,Transformer 模型通过训练集的高阶统计量进行记忆化学习,证明该核方法理论同样适用于具备特征学习能力的模型。
研究人员利用SMC解码在零边际成本下估计序列级Rényi熵(SRE),作为无成本选择性预测信号。 一阶SRE在13个场景中的10个场景优于对数概率,MATH500测试集AUROC提升0.022至0.044。 八粒子探针结合二次策略,在MATH500上减少34.2%粒子开销的同时保持六十四粒子精度。
AdjointFlow 提出一种基于随机插值的框架,将已知物理注入生成传输过程。 在逆散射、地震成像等实验中,其推理速度比 PnP 方法快达五个数量级。 无需重新训练即可通过查询物理模型进一步提升数据一致性。
summary_zh: 研究者提出 SPRA-LoRA,这是一种联邦学习下的秩感知微调策略,通过冻结并定期重采样矩阵 A 实现 50% 的计算与上行通信开销降低。
提出 DRD-MOPD 方法,通过冻结基础模型与可训练组件结合实现多教师在线策略蒸馏,在六项基准测试中取得 32.72% 宏分数。 该方法将样本划分为不同领域并更新独立优化器状态,保留 88.04 至 92.41 度的原始专家几何角度。 导出 BF16 学生模型的增量外部能量占比为 4.90%,优于此前 Open-MOPD 的 97.02% 外部能量分布。
研究指出,在强化学习 with verifiable rewards (RLVR) 中,跨提示词的参数共享导致 reward hacking 既被抑制也被放大。
LEX 是首个支持输入级运行时置信度估计的 post-hoc XAI 框架,基于 LSTM IPS 预测模型在 Intel Alder Lake 上对 34 个基准应用评测,对未见工作负载实现约 94% 的误差界包含率。
研究者提出结构化核代理模型 SKS,用于多模态系统中的跨样本模态归因。该方法基于结构化组合核和岭回归,在多个基准测试中实现高相关性。 使用 SKS 选择卫星图像时,其模型的平均准确率比基线提高 1.93%,Hessian 迹更低,并准确识别出易发生事故的道路路段。
研究提出 Symbolic Imitation Learning 框架,通过离线数据将 oracle 策略蒸馏为包含线性模型运动原语的决策列表。 该框架结合在线 Augmented-Random Search 调优常数与运动原语,在 20 个基准强化学习任务中匹配 oracle 性能,并在 11 项任务中超越 oracle,同时生成了更具可解释性的策略。
summary_zh: FaST 将过渡元组分解为状态、动作、动力学、奖励和终止阶段,在 12 个 D4RL 基准上与 SynthER 扩散基线持平,生成速度超过 90 倍。
该研究将执行轨迹视为高维粗糙路径,使用路径签名变换编码轨迹以合成程序。 在 Karel、List 和 RASP 三个任务中,其对数签名编码器在几乎所有场景下优于 LSTM、Transformer 和 Fourier 基线,数据稀缺时优势最明显。 该方法产生比真实值更短的有效程序,揭示监督数据中的冗余,并诱导更具可解释性的潜在几何结构。
Flide 利用精确状态分叉加速决策推理 论文:https://huggingface.co/papers/2610.42148
针对LLM前缀缓存,分析显示简单的最近最少使用(LRU)算法表现稳健,可媲美复杂策略。 研究基于200亿token生产轨迹,评估了14种淘汰算法,发现会话节奏主导前缀复用,使近期性成为强预测因子。 研究确立了结合快速降级与计算感知淘汰的设计原则,相关模拟器与数据已公开。
针对标签偏移下重要性权重有限样本不确定性问题,现有基于矩阵求逆的方法导致置信区域过于保守。 提出的直接矩阵约束框架通过联合置信区域与线性规划提取边际区间,推导了可证明更紧的界并保持精确的有限样本有效性。 在 AGNews、MNIST、CIFAR-10 及 nuImages 等基准测试中,该方法生成的置信区间更短、预测集更小。
研究建立多类逻辑回归在高维混合模型下的交叉熵风险缩放法则,揭示学习过程按类别频率从高到低顺序进行的机制。 当类别先验服从幂律分布时,风险动态分解为初始平台期、幂律衰减序列学习期和最终收敛期三个明确阶段。 研究进一步推导了计算最优缩放法则,明确了模型尺寸与训练时间随计算预算变化的具体关系,将线性回归理论延伸至多分类任务。
研究发现,普通 EfficientNet-B0 在 FaceForensics++ 测试集上以 3.66 AUC 优势击败复杂频率架构 CAFRL。 自我审计显示缺陷源于配方而非架构;真实 H.264 变体比合成 JPEG 增强高出 7.3 分。 证据限于 GAN 时代模型,建议通过编码多样性而非架构提升压缩鲁棒性。
针对有向无环图(DAG)中部分观测且噪声异构的函数组合问题,研究提出了深度高斯过程(DGP)方法。该方法通过保留图依赖性和组合不确定性,有效处理了重建、不确定性传播及推理挑战。
Mosaic 是一个开源可微 PDE 求解器基准框架,通过容器化组件(Tesseract)统一了 14 个求解器的梯度 API。 评估覆盖流体力学、结构力学和传热领域,揭示了计算成本与内存方面存在数量级差异,所有有效求解器均收敛至相似最优解。 该基准明确了内存限制、数值稳定性和设置兼容性是主要实际障碍,代码已开源。
研究人员提出多模态概念瓶颈模型 MM-CBM,将概念瓶颈层扩展至 CLIP 结构,在四个标准基准上平均准确率提升 23.28%。 该模型利用双概念瓶颈层对齐图像与文本嵌入,支持可解释的零样本分类和图像检索,已获 TMLR 2026 录用。
summary_zh: Helmholtz-SDE 提出了一种无模拟变分推断算法,通过优化与指定边缘分布兼容的路径律,闭合了现有方法的近似差距。 该算法在恢复动态系统的忠实度上优于以往的无模拟方法,尤其在后方不确定性较高的情况下增益显著。
发布欧洲多模态数据集 KITScenes Multimodal,配备超 400 米长程 lidar、4D 成像雷达及高精度 GNSS/INS 定位。 作为公开数据集首次将红绿灯等所有交通元素以重投影精度映射为 3D 拓扑连接数据。 该数据集旨在弥补现有数据在传感器保真度和地理多样性上的不足,并包含四个面向具身 AI 的空间学习基准测试。
研究提出统一的矢量化反馈框架,证明合成梯度在特定条件下梯度估计均方误差低于反向传播。 作者构建了理论示例说明该样本效率优势可任意放大,并在上下文赌博机与强化学习任务实验中验证了理论结论。 该工作发表于 NeurIPS 2026,从理论上重新审视了基于可微性的默认学习规则。
论文提出自蒸馏生成对抗网络(SD-GAN),通过将 EMA 生成器作为教师指导主动生成器,以感知损失提升训练稳定性。 SD-GAN 在简化连续时间 Dirac-GAN 设置下证明了局部渐近稳定性,并有效抑制了寄生循环行为。 在多个架构和数据集上,SD-GAN 改善了 FID 和 random-FID 等指标,且被接收至 NeurIPS 2026。
HaloProbe 提出了一种贝叶斯框架,用于检测和缓解视觉语言模型(VLM)中的对象幻觉。该框架通过因子化外部描述统计和内部解码信号,估计 token 级别的幻觉概率。 实验表明,由 HaloProbe 引导的解码在减少幻觉方面比最先进的基于干预的方法更有效,同时保留了字幕效用和语言流畅性。
PAIR 框架重构了文生图扩散模型的概念擦除任务,通过构建不安全-安全配对实现一致性保持的语义重对齐。 采用成对语义重对齐与 DoRA 的 Fisher 加权初始化,实验表明其在概念擦除与生成质量间实现了最佳平衡。 该成果已被 NeurIPS 2026 接收。
Singular Bayesian Neural Networks 通过低秩参数化将后验复杂度项从 $\sqrt{mn}$ 降至 $\sqrt{r(m+n)}$,在 MLP、LSTM 和 Transformer 上实现最多 33 倍参数量缩减。 该方法利用共享隐因子捕获结构化权重相关性,显著改进 OOD 检测性能,并在多数情况下提升校准效果。
提出几何-概率框架 (L)MPPM 用于盲图像修复,通过核方法近似分布并引入流形距离函数。 该模型在图像及潜空间诱导由联合几何与概率信息引导的分数场驱动流。在多项图像修复基准上,(L)MPPM 性能持续优于现有方法。
利用 Generative AI 从 120,000 多份电话会议转录本中提取管理层经济预期,构建的 AI Economy Score 能在 5 个季度以上提前预测 GDP 增长、生产、就业及工资水平。 该指标优于调查预测及现有指标,行业与公司层面得分捕捉特定活动,复合模型进一步提升了预测力度。 研究结论为宏观经济与微观经济决策提供了增量洞察。
针对内核级遥测数据难以直接用于自动化威胁检测的问题,论文提出了Trace2ATT&CK框架,实现了在本地基础设施内完成MITRE ATT&CK映射。 该框架通过eBPF采集系统调用,利用本地开源大语言模型将事件分类为进程级溯源图,再归纳为紧凑执行图,使用纯提示或RAG方法进行分类。
DDBench 发布 60 个来自 13 个开源分布式系统的历史 Bug 基准,填补分布式系统代码修复评测空白。 该基准设置仅症状与增强上下文两种条件,评估 10 个 LLM 发现上下文使通过率提升 19.0 个百分点,且弱模型获益更大。 DDBench 揭示分布式调试需跨进程推理,单一进程基准无法覆盖该维度。
summary_zh: PGSR框架通过在VAE压缩前保留低分辨率像素证据,解决了扩散Transformer在图像超分辨率中因潜空间压缩瓶颈导致的保真度缺失问题。