稀疏贝叶斯 Kolmogorov-Arnold 网络在的各向异性 Besov 空间中的后验收缩率
研究证明配备 spike-and-slab 稀疏先验的稀疏贝叶斯 KAN 在近极小极大后验收缩率方面表现优异。 收缩率取决于底层函数的本征各向异性光滑度,通过超先验可自适应未知光滑度并维持该速率。 相比标准多层感知机,KAN 深度可固定,通过宽度、样条网格范围和稀疏性控制逼近复杂度。
研究证明配备 spike-and-slab 稀疏先验的稀疏贝叶斯 KAN 在近极小极大后验收缩率方面表现优异。 收缩率取决于底层函数的本征各向异性光滑度,通过超先验可自适应未知光滑度并维持该速率。 相比标准多层感知机,KAN 深度可固定,通过宽度、样条网格范围和稀疏性控制逼近复杂度。
该研究在对决型 Bandit 场景下,仅假设存在 Condorcet 优胜者的前提下,提出利用全间隙矩阵 $\Delta_{i,j}$ 的新识别程序,显著提升了实例相关的采样复杂度保证。
通用 VLM 无需大规模 EEG 预训练即可在临床神经诊断任务中表现具有竞争力,且小样本适应能力优于专用基础模型。 VLM 在模型规模化时性能提升显著,而专用模态模型未能展现此特性。 该研究证明了 VLM 具备视觉解读 EEG 信号并辅助临床诊断的潜力。
LeapQuant提出免训练方法,在8位循环状态量化下实现近无损性能。 采用每窗口量化缓解误差积累,保留最高异常值作为高精度补偿令牌,并对剩余残差进行平滑处理。 在Qwen、Kimi和GLM模型系列上,相比FP32基线精度相当,内核级平均加速2.05-3.70倍,端到端推理加速1.47倍。
新论文提出接受率感知损失函数,直接优化预期接受 token 数量,提升 LLM 推测解码速度。 该方法包含贪婪解码的 EAL 损失和采样解码的 WTV 损失,并可结合 GRPO 强化学习。 实验显示该方法在多种场景下优于传统 KL 散度匹配,显著提升接受长度。
提出一种针对电子病历(EHR)基础模型的强化学习微调框架,将临床预测任务建模为时序推理问题。 设计时间感知奖励机制,使小模型在数据受限场景下匹配大模型表现,并增强轨迹的语义一致性。 该研究已被 ML4H 2026 会议接收,验证了 RL 微调在跨任务迁移中的正向效应。
提出 ART 框架优化 Score-Based 扩散采样步长分配,利用连续时间控制替代均匀或手工设计的调度方案。 ART-RL 通过高斯策略将调度学习转化为强化学习问题,证明最优策略均值恢复 ART 时间扭曲率,实现 Actor-Critic 更新。 该方法仅替换时间步网格即可接入现有扩散采样器,在同等预算下提升样本质量,且学习到的调度方案具备跨数据集、求解器及表示空间的泛化能力。
针对主流 RANSAC 变体依赖内点阈值的评分缺陷,提出一种反转推理顺序的新方法:对固定内点划分闭式边缘化尺度后优化划分,该分数仅需一次排序与线性扫描即可最大化。 该方法在信息量充足与匮乏先验下适用,唯一超参为均匀外点分布半宽,对校准偏差远较内点阈值不敏感,且为首个公式中不含内点尺度的似然型 RANSAC 评分。 论文已被 NeurIPS 2026 接收,共 20 页。
研究通过引入“目标对齐”指标量化学习效率,揭示了预测编码(PC)在深层、窄化和预训练网络中比反向传播(BP)更高效。 研究者推导并验证了深度线性网络中目标对齐的解析表达式,确定了 PC 实现最优目标对齐的精确条件。 在非线性模型全训练轨迹实验中,发现 PC 的效率优势在实际应用中依然保持。
混合求解器MC$^2$在匹配精度下比Walk-on-Spheres快218倍,推理时间比扩散方法减少171%。 该方法以低预算蒙特卡洛解为结构化估计,通过单次前向神经网络修正恢复高保真解,并发布了含200万PDE的PDEZoo基准测试。 已被NeurIPS 2026接收,提供了该领域缺失的可复现评估基础设施。
ROPD 采用仅文本反馈实现黑盒 On-Policy Distillation,在 4 个竞赛数学基准上优于 Logit 方法,使用 9.6 倍更少样本达到最佳 AIME24 准确率。
研究提出 GoRL 框架,通过解耦优化与生成来解决在线强化学习中的矛盾。该算法将策略优化限制在可处理的潜空间,利用扩散或流匹配解码器生成动作,确保稳定性与表达力。 实证结果显示,GoRL 在多种连续控制任务中显著优于基线模型。在 HopperStand 任务中,其回报超过 870,是强基线的 3 倍以上。在人体任务中,它比最强非 GoRL 基线高出一个数量级。
研究人员推出OptiMind系统,其20B OptiMind-RL模型在清洗后的三个基准测试中超越开源基线,达到前沿模型性能。 该系统结合数据清洗、类别提示与求解器反馈进行多轮强化学习,并公开了提示库、测试数据及代码于Github和Hugging Face。
三项评估框架在企业分析智能体上的对比研究显示,97%的配置满足稳定性阈值,trace-based框架在72个已知风险用例中取得最佳F1=0.90。 text-only评估虽召回率相同但误报增加5倍,功能测试与红队测试发现的24个新型失败零重叠。 建议采用trace-based评估与对抗性红队测试相结合的双框架策略。
该研究提出社区循环脉冲神经网络(CoRe SNNs),将循环网络划分为固定角色的社区,动作由脉冲活动到达的社区决定。 引入 Map-STDP 学习规则以鼓励动态模块结构,并对比动态、部分及完全模块化三种机制。 在 CartPole、LunarLander 和 Acrobot 任务中,该循环模块化网络性能可匹敌或超越前馈方法,同时提升了生物合理性。
Sable 提出一种单 GPU 证明器,可逐位验证整数量化 Transformer 生成的 token 序列,且中间计算无回绕。 核心验证基于 31-bit KoalaBear 素数约束系统,使用 LogUp-GKR 和 Reed-Solomon 承诺。
提出基于多体系统相位空间表述的量子电路学习新框架,通过归一化流参数化酉门。 N 量子比特态被表示为 $2N$ 维流形上的概率分布,该方法在三种常见电路族上的精度超过当前最先进神经网络方法。 为大规模系统的量子电路仿真提供了新的生成模型路径。
针对连续预训练中标准目标对不同模型效果差异问题,研究团队提出在线策略中训练蒸馏(OPMD)方法。该方法让模型学习自身实际访问的状态,在 MATH-500 和 Minerva 基准测试上改善了 Qwen 模型性能,并优于标准基线方法。
TopoVerus 实现单轮生成结构化反例、修复理由及修复证明,在 7 个 Verus 基准测试(471 个问题)中加权平均 Safe-Pass@1/Safe-Pass@3 达 61.6%/72.2%。
研究评估了 Olmo-3-7B-Instruct 在 SFT、DPO 和 RLVR 后的差异。 RLVR 生成的 CoT 在后续检查点中准确性更高,且对进位声明敏感度更强。
研究证实现代推荐模型具有特征不变缩放性,即不同特征改变下性能变化遵循可预测的缩放定律。 研究人员提出一种利用缩放定律和统计推断的方法,通过小规模实验预测全尺度 A/B 测试效果,在 Wukong、HSTU 及 LLM 推荐模型上验证了该方法在 40 多项变更中能准确区分有益与中性/退步变化,大幅降低计算需求。
ForeSpark 提出保工作量推测(WCS)设计,在 vLLM 上实现原型。 其通过联合分配草稿与验证预算,吞吐量较 DSpark 提升最高 1.77x,较自回归解码提升 2.49x。 该框架在保持延迟 SLO 下,可承受比 DSpark 高 1.51x 的请求速率。
研究表明,vLLM 中轻微突发流量会导致前缀缓存 Agent 服务陷入亚稳态,命中率降至 10%,吞吐量减半,且 70 分钟无法恢复。该现象在 Qwen3-32B 和 SGLang 上复现,无缓存时则不存在。 系统通过限制活跃会话的 KV 驻留需求至内存池容量,并采用无需针对性调参的阈值,成功在所有测试运行中防止了服务崩溃。
TKNP架构将权重放置与注意力所有权解耦,在64块H100上实现长上下文高并发工作负载的完成率提升。 该方法基于vLLM实现,在Llama 3.1 405B和Nemotron-4 340B上评估,吞吐量比DCP提升最高1.7倍。
Multi-Future Drafting (MFD) 通过引入潜在变量恢复耦合,提出混合 DDTree 验证器。 MFD 在单前向传播中起草 K 个连贯块,使树验证无损选择目标未来。 在 4B 至 27B 参数的 Qwen 模型上,MFD 实现最高 7.8 倍加速。
TabPFN-3.5在Cell2Cell和Iranian电信流失数据集上,显著优于最佳调优GBDT的最大期望利润(EMP),增幅分别为1.9%和7.6%。 在Orange数据集上,TabPFN-3.5在所有10个分割中均领先(14.3%),但经Holm校正后差异不显著(p=0.155);TabICL v2仅在Iranian上胜出,且在Orange上流失率预测偏低2.1个百分点。
框架 AutoScaffold 将强化学习可验证奖励训练中的学生经验转化为自适应支架,无需人工干预。 该框架通过冻结的教师模型诊断瓶颈并设计共享策略与个别提示,在四种任务域中优于对应强化学习基线。 在 ALFWorld 任务成功率提升 7.2 分,数学推理中用约三分之一的学生训练步数超过 QuestA 的准确率。
Pyrite 发布 1,500 个位姿对的基准,发现专家排序表现接近随机。 LLM 智能体 PyriteFeaturizer 准确率达 74%,优于专家;GRPO 训练使开源模型媲美闭源模型。 确立位姿排序能力测试标准,验证 LLM 引导特征发现方法价值。
利用符号蒸馏结合神经网络与符号回归,从 21 年再分析数据中发现可解释的南亚季风降水方程。 最佳方程解释的降水方差是广泛使用的浮力诊断的 1.5 倍,恢复约 85% 的神经网络性能,参数数量减少约 1000 倍。 方程揭示低层自由对流层湿度作为竞争控制因子,使降水预测更符合物理一致性。
针对 7-12B 模型在 GSM8K 和 MATH 上的测试表明,注意力探针在 5% 审查预算下平均比连续判决令牌多发现 7.4 个百分点的错误。 在 10% 路由下,探针仅对较弱判官优于随机分配;跨数据集迁移导致探针 AUROC 下降。 内部信号提升领域内预算分配效率,但非通用置信度估计器。
该研究提出基于大语言模型(LLM)的故障诊断框架 Chain of Physics(CoP),利用自动生成的受限知识图谱在 FailureSensorIQ 基准测试中提升诊断准确率。
SinkState 通过自适应低秩存储和局部 SVD 压缩线性注意力递归状态,在 4 个混合模型上将峰值内存降低至多 2.6 倍,解码速度提升 1.58 倍。 该方案针对 Mamba-2 和 Gated DeltaNet 层,利用“线性注意力沉”现象将状态限制在低维子空间,并在 CPU 异步处理剩余分量。
研究提出 MCPO 方法,将信用分配至模型犹豫的 token,相比未修改的 GRPO 基线,平均提升 6.55 分(macro avg@32)。 实验使用 MiniCPM5-2B-Base 配合 LoRA 训练,在 DAPO-Math 数据集上验证效果,Qwen3-4B-Base 复现亦显示正向增益。
提出 TBTCL 框架,将时间行为树 (TBT) 作为统一接口,同时用于定义任务、生成密集鲁棒性奖励、构建课程及诊断策略。 该框架比 LTL 更具表达力且天然分层,能自动提取课程 DAG 并识别瓶颈。在六个离散与连续域评估中,TBT 证明可同时充当规范、奖励、课程和诊断工具。
深度神经网络内部机制因神经元编码多概念而难以解释,机制可解释性旨在识别对特定行为具有因果责任的组件。 该文综述了深度神经网络中因果推理分析的进展,涵盖图像、音频及语言处理等领域的内部激活机制。
研究提出统一的三步近似编译流水线,利用张量分解精确乘法子并重构乘积,使 WMC 估计精度比现有方法高数个数量级。 该流水线在 Sudoku、算术推理等六类任务中,随着问题规模增加表现优于先验方法,能更好地捕捉符号因子间的紧密交互依赖。 文章指出该设计为复杂概率推理任务提供了新的近似编译设计空间,已被 NeurIPS 2026 接收。
研究展示前沿大语言模型通过权重空间编程(Weight-Space Programming)处理 EEG 和 ECG 生物信号。模型仅凭架构、任务及最小训练集,推理生成的网络比标准梯度下降训练少用 6 倍受试者。
tritify 开源运行时通过精确整数算术实现跨硬件位级可复现推理,SHA-256 哈希验证输出一致性。 验证覆盖 OLMoE 及 106B 参数 GLM-4.5-Air,在 CPU/GPU 及分布机器上保持比特相同,实现可验证分布式推理。 该机制允许不信任服务器运行模型,由开放标量预言机重推导字节,拒绝单设备加速与机密性声明。
模型重点训练于多数错误与少数正确案例,在后续适应中修正奖励,所有配置下性能均优于基础 TTRL。
Google Research 的 TabFM 在预测企业次年盈利变化的基准测试中,准确率优于微调的大语言模型和多种树模型。 TabFM 基于合成数据预训练,避免了前瞻偏差,且推理速度更快、计算开销低于 LLM 对比组。 研究结论认为 TFMs 具有前景,但单一任务评估不代表其在所有场景下均占优。