Rational Sparse Autoencoder
Rational Sparse Autoencoder (RSAE) 将固定编码器激活替换为可训练有理函数,在匹配预期稀疏度下证明对 ReLU 及 JumpReLU/TopK 具有重构优势。 在三个开源权重语言模型上验证,RSAE 在同稀疏度下提升重构保真度,仅增加 20 个标量参数。 单次训练耗时 4 至 25 分钟,在单张消费级 GPU 上完成。
Rational Sparse Autoencoder (RSAE) 将固定编码器激活替换为可训练有理函数,在匹配预期稀疏度下证明对 ReLU 及 JumpReLU/TopK 具有重构优势。 在三个开源权重语言模型上验证,RSAE 在同稀疏度下提升重构保真度,仅增加 20 个标量参数。 单次训练耗时 4 至 25 分钟,在单张消费级 GPU 上完成。
针对时间序列预测中多模态动态导致的过平滑问题,研究提出Dirichlet引导群组预测(DGF)框架。 该框架显式建模多模式条件预测分布及其选择概率不确定性,利用Dirichlet引导分层采样机制与基于奖励的优化,鼓励生成准确、动态一致且模式清晰的预测结果。 在真实世界预测基准测试中,DGF在提高预测准确率、多样性和动态一致性的同时减少了过平滑现象,代码已公开。
研究人员开发了针对概念瓶颈模型的合成基准,用于生成带标签数据集并控制数据模态、概念选择及标注质量等属性。 该基准可评估决策支持和自动化两大核心用例,帮助定位模型失败原因,并将其归因于架构或数据问题,已在 NeurIPS 2026 发表。
研究证明人类与 AI 置信度的对齐降低了最优决策学习复杂度,将遗憾上界从 $O(\sqrt{|H| \cdot T\log T})$ 优化至 $O(\sqrt{T\log T})$。
MIST 提出了一种通过 McDiarmid 边界解决在线类增量学习中流式决策树校准失败的方法。 该方法包含 K 独立置信半径、贝叶斯继承协议和 KLL 分位数草图三个组件。 在 Neurips 2026 被接收,MIST 在非高斯几何流数据上表现出独特鲁棒性。
研究证明,在循环神经网络中,计算特定函数的最小权重范数与该函数的柯尔莫哥洛夫复杂性除以对数渐近等价。 证明基于两个还原:网络通过稀疏模式编码信息,且固定精度网络可通过枚举非零参数描述。 该理论链接为理解深度学习中范数最小化与泛化能力的关系提供了新途径。
该框架在固定评估预算下,通过在任务与重复运行间优化分配以构建更窄的 LLM 性能置信区间。 在 LiveCodeBench 基准测试中,该框架在 15 种模型配置下实现了 30.6% 的中位置信区间宽度缩减。 理论上证明了其在最坏情况下实现了收窄置信区间的极快速率。
该研究提出条件分布匹配 (CDM) 逆向设计问题及两种变体,旨在寻找使条件分布匹配特定目标的输入。 算法名为 MLGD-F,结合预训练扩散模型与快速采样器,无需额外训练即可高效计算。 该方法在合成基准和生成编辑等场景验证有效,能可靠恢复满足目标分布的输入。
研究提出模块化基础设施 WorkWorlds,基于真实制药公司数据重构环境,用于在受控条件下对比任务构建时序对智能体评估的影响。 192 次受控评估显示,智能体从任务特定环境切换至员工真实可见材料时,证据获取率从 90.4% 降至 72.8%,标准通过率从 76.7% 降至 68.0%。 作者建议基准测试应报告环境材料选择方法,并尽可能测试更换环境构建者后的分数变化。
RiskWorld 提出了一种风险感知的世界建模框架,用于共享占据预测和选择性轨迹替换,通过融合空间风险场、时序行为者上下文与视觉鸟瞰特征实现安全运动规划。 该框架采用流引导演化传输占据与场景特征,并用有符号残差校正传输后的占据。
CHASE 通过反事实评估协议检验 Agent Harness 改进的鲁棒性,在 Syn-Ledger 和 SWE-Bench Pro V2 等基准上验证其有效性。
研究团队推出MAP,这是首个评估多模态AI系统在真实世界地点无障碍规划中表现的基准。 该基准包含两项评估:验证无障碍规划声明和检索视觉证据,采用自动评分与部分人工评分结合的方法。 MAP支持定时刷新真实数据以评估AI系统,便于比较不同系统表现。
TraXion 针对多实体时空事件流(MESES)提出预训练框架,其目标与架构满足三条公理。在覆盖 6 个公开移动性数据集的任务中,单一检查点在所有位置排名和检测指标上超越任务特定基线。该配方应用于企业认证日志和 ICU 死亡率预测时匹配或超越现有工作,被 NeurIPS 2026 接收。
一种新的线性化2-单纯形注意力机制将计算复杂度从立方级降至序列长度的二次方,并在固定大小的状态中精确求和所有历史键。该机制通过正向随机特征近似和自定义Triton内核实现,并与Kimi Delta Attention结合构建了一个完全不含softmax注意力的模型。在15B参数规模下使用FineWeb-Edu训练,该模型将验证损失从2.35降至2.32,LAMBADA困惑度从40降至38。
针对稀疏 MoE 奖励模型路由权重无法揭示专家如何判断响应的问题,论文提出贡献对比(CoCo)方法,通过选择最大贡献对比的偏好响应对,联合捕捉路由与偏好行为。 CoCo 在自动与人工评估中展现出比基于路由器、评分及稀疏自编码器替代方案更连贯、忠实且专业化的解释,同时保持具有竞争力的奖励建模准确率。
JUDOR提出了一种基于CTDE的多智能体强化学习框架,实现了无人机离散航向控制与去中心化机会路由的联合优化。 该框架建模为带共享团队奖励的分解部分可观测马尔可夫决策过程,采用去中心化执行器与中心化训练批评者。 在四种流量模式下,JUDOR在保持去中心化执行的同时,性能稳定优于PRoPHET和MaxProp等DTN基准。
Ouro-2.6B-Thinking 模型的隐藏状态探测可识别人类偏好,线性探针准确率为 61.5%。 在 Anthropic 的 HH-RLHF 数据上,非线性网络达到 64.9%,略优于选择更长回复的简单规则。
针对有限时域线性MDP,提出使用参数化对数线性策略的乐观Actor-Critic框架。 算法引入可计算的对数匹配回归目标,并通过Langevin蒙特卡洛实现近似汤普森采样。 证明在on-policy和off-policy设置下样本复杂度分别为 $\widetilde{O}(\epsilon^{-4})$ 和 $\widetilde{O}(\epsilon^{-2})$。
该研究利用分歧信号筛选合成边界案例,在多模态安全基准上将 F1 从 0.220 提升至 0.731,FNR 降至 0.245。 管道生成策略条件化图像,选取评分者分歧案例并检索 50 个示例作为上下文演示,显著优于 350 例常规池。 盲测显示专家在分歧引导图像上的分歧率为 24%,验证了该方法在可追溯多模态安全评估中的有效性。
乘性 Lipschitz 界(trivial bound)在 Lipschitz 约束学习中的有效性常被低估。结合 quadrature nonlinearity,该方法在多数分类界上优于 Sandwich、AL、CPL 和 SDP 层,降低交叉熵。 在自编码器任务中,该方法在所有测试的瓶颈宽度下均取得最低像素重建误差,比 PCA 改进 12–24%。
研究对 ARC-AGI 基准在人类样本中的心理测量学特征进行首次检验,显示其与图形流体智力相关显著($\rho$ = .63)。 该研究基于 100 名参与者,发现 ARC-AGI 具有良好的心理测量学属性,但与图形独创性的关联较弱。 这支持了 ARC-AGI 作为人类流体智力测量工具的初步效度,并建议将 AI 基准系统嵌入人类认知能力网络。
首个智能体弃答评测框架 AgentAbstain 发布,含 263 组配对任务与 42 个沙盒环境。 AbstainGen 自动化管线生成任务并经 3 名标注者验证 94-98% 为良好设计。 17 个前沿 LLM 最佳者 Gemini 3.1 Pro 仅达 59.5% 配对准确率,弃答能力独立于任务解决能力。
针对心衰临床记录数据集,构建专家因果图基准并追溯因果发现算法,量化路径特异性公平性与效用权衡。 ICA-LiNGAM在结构汉明距离和召回率上最优,GES精度最高;原始与发现图在射血分数中介效应上存在1.2个百分点差异,导致公平-效用比变化。 结果表明因果发现感知、路径特异性公平性评估在临床场景至关重要,应纳入临床风险模型常规审计。
论文提出 ElephantAgent 协议,通过在规划执行前重算本地上下文状态摘要并验证其一致性,防御工具及记忆投毒攻击。 ElephantAgent 集成于 DeepSeek Harness 形成 ElephantDSH,抵御了 rug pulls、回滚等带外攻击及带内提示注入,相对开销仅为 1.02-1.07 倍。
针对扩展式类增量学习中新旧特征碰撞问题,提出基于概率必要性和充分性(PNS)的正则化方法。 该方法通过双域反事实生成器生成任务内反事实特征和任务间干扰特征,量化因果完整性与可分性。 理论分析证实了方法可靠性,是缓解特征碰撞的即插即用解决方案。
Arbor 系统通过可插拔搜索策略(如 scored bandit、并行 agent swarms 和深度优先 sweep)赋予自主智能体在优化树上进行推理、回溯和深化的能力。
针对现有奖励机制过度关注答案正确性而忽视推理过程的问题,论文提出了组因果反事实策略优化方法,以提升 LLM 推理的泛化能力。 该方法通过构建因果反事实奖励,同时评估推理策略在扰动下的鲁棒性与跨问题迁移的有效性。实验证明其在多种基准测试中展现了优势。 ```
三项受控实验表明,LLM 在代码优化中更像贪婪优化器,高度依赖预训练先验。 零_shot kernel 生成中,输入尺寸信息无影响;反馈循环中 CUDA 性能单调提升,TVM IR 性能下降。 结果显示,当模型在低密度语言环境中操作时,kernel 优化性能会显著退化。
提出 PraC 统一框架,将贝叶斯优化与实验设计结合,通过主动推断解决混合学习与优化问题。 框架通过权衡信息增益与预期遗憾来评估候选查询,在决策监控、主动搜索及复合优化三个层级降低下游风险并提升关键区域覆盖率。
研究人员提出无学习PTQ框架CoreQ,通过几何分解计算层自适应校正系数,结合贪心逐次舍入优化量化目标。 该框架避免了对有限校准数据的过拟合,无需调节系数,其扩展版K-CoreQ以少量额外计算换取性能提升。CoreQ在多个LLM家族和量化设置中实现了比强基准更低的困惑度和更高的下游准确性。
研究人员提出集成LLM与临床工具的CXReasonAgent,解决大型视觉语言模型(LVLMs)缺乏证据支撑及适配成本高问题。 该智能体在包含1,946个对话、覆盖12项诊断任务的基准测试CXReasonDail中表现优于LVLMs。 论文已被ML4H 2026会议接收,并提供了在线演示以支持可靠且可验证的诊断推理。
针对临床研究中信息性删失导致的偏差,提出一种基于部分识别的假设精简框架以评估条件平均处理效应(CATE)的鲁棒性。 该框架推导了CATE的有效界,并引入模型无关元学习者 SurvB-learner 进行估计,具备双重鲁棒性和准预言机效率特性。 通过模拟和真实数据实验验证了该方法的有效性,可识别出在信息性删失下治疗有效的患者亚群。
研究构建了多层级大规模数据集,系统记录 AI 生态中模型、数据、算力等要素在组织间的流动关系。 该数据集标注了时间与类型标签,通过分析中心节点、网络集中度及关键控制点,揭示了行业权力结构。 此资源旨在推动对 AI 供应链政治经济学的批判性研究,相关数据已公开供交互式探索。
研究提出将未知值探测形式化,结合空间探索与证据集中策略,在预算分配中实现超参数优化。 证明该策略具有最坏情况近似保证且接近最优,在超过 250 个实验设置中对比强基线,始终表现出优势。
AHE-Beta 通过需求中心闭环将 pass@1 从 21.9% 提升至 33.3%,并比 Base Harness 减少 40.8% 的 token 消耗。
过参数化扩散模型在训练过程中,泛化能力早于记忆现象出现。 实验表明,记忆发生时间与数据集大小成正比,符合核回归边界理论。通过引入随机规则的简单无上下文无关文法,验证了早期停止对泛化成本的控制。 该研究支持基于数据集规模设置早期停止标准,以避免记忆并优化泛化,对超参数迁移及隐私敏感应用具有直接影响。
研究提出 EvoUAD-AT 方法,通过进化不确定性感知对抗分布解决点式对抗训练忽略邻域变异的问题。 方法在锚点周围维护实例级搜索分布,结合内省梯度匹配约束输入梯度,在多个基准测试中表现优于现有 SOTA 方法。 该方法在清洁精度和对抗鲁棒性上均取得一致提升。
该研究分解了两层神经网络中 SGD 的动力学,发现正交补分量中的教师依赖性谱尖峰会放大表示方差并降低泛化能力。 通过引入“分解动力学”替代模型,验证了在 ReLU 学生网络中冻结正交补分量方向能改善泛化,且信号分量与二层权重存在强耦合。 结果从动力学角度解释了教师子空间外的特征学习为何损害泛化。
研究提出 Soft-MoQE 架构,通过非可训练量子电路池与经典门控网络替代变分量子训练,避免 barren plateaus 等优化难题。 在 MNIST parity、MNIST 10-class 和 FashionMNIST 任务中,Soft-MoQE 性能优于单专家、均匀平均和线性基线,达到可训练量子神经网络的水平,且量子训练成本低数个数量级。
IPS 是支持 Isabelle 证明器训练的免费 HTTP API 验证服务,提供会话租赁与内存感知准入控制。 性能上在单工作节点时优于 PIDE MCP,32 节点并发达到单节点 24 倍速度,内存不足时拒绝新会话。