Markovian Circuit Tracing:测试 Transformer 状态抽象的基准
研究提出 Markovian Circuit Tracing 基准,通过训练小规模因果 Transformer 测试激活值是否支持可恢复的状态抽象。 在易观测条件下,模型恢复的真实转移矩阵 KL 散度为 0.114;中等条件下为 0.221,而困难条件下性能崩溃,与随机对照组持平。 该基准用于判断何时支持状态机解释,何时拒绝,为机制可解释性提供了区分因果有用性与可访问性的测试工具。
研究提出 Markovian Circuit Tracing 基准,通过训练小规模因果 Transformer 测试激活值是否支持可恢复的状态抽象。 在易观测条件下,模型恢复的真实转移矩阵 KL 散度为 0.114;中等条件下为 0.221,而困难条件下性能崩溃,与随机对照组持平。 该基准用于判断何时支持状态机解释,何时拒绝,为机制可解释性提供了区分因果有用性与可访问性的测试工具。
研究团队引入统一理论框架,通过显式建模张量运算结构,分析深度学习40年历史中架构复杂度的演进,并自动构建新架构。 研究揭示了突破性架构与复杂度提升的关联,识别出多个未被探索的高复杂度架构大类,并公开释放了包含3000+架构的数据集。
该研究提出了 Linear-Core Surrogates,首个兼具全局可微性与严格线性 H-一致性边界的显式凸损失函数家族。它通过连接线性核心与平滑尾部,解决了平滑性与统计效率之间的传统权衡。
论文提出 LITE 策略,通过增强平直轨迹上的 Hessian 阻尼系数和学习率加速 Muon 和 SOAP 优化器。 实验覆盖 130M 至 1.3B 参数规模的 Dense 和 MoE 架构,在 C4 和 Pile 数据集上显著提升了训练效率。 LITE 被 NeurIPS 2026 接收,代码已公开,为 LLM 预训练提供高效优化方案。
LLM将对竞争假设分析技术规模化,用于生成并更新检测威胁行为者的演化逻辑签名。该机制能匹配攻击活动的宏观模式,而非单一指标,并可发现未知的新指标。 语言模型将报告转化为检测模型,驱动签名更新循环,将未知威胁转化为可识别的已知目标。
该论文提出一种 XL MIMO 系统架构,在接收端结合堆叠智能超表面与单天线,将无线传播转化为两层神经网络,其中第一层由无线衰落构成,第二层由可控制的超表面操作实现。 利用极端学习机框架,该架构被证明是通用近似器,并推导了基于线性堆叠智能超表面组合的闭式最优解,实现了快速训练且仅需部分信号观测。数值评估表明,该框架在分类准确率上可与理想数字模型相当,验证了低复杂度波域神经计算的可行性。
HIFI 提出两阶段微调框架,解决基础模型统计推断中数百次重采样拟合的高昂计算成本问题。 该框架第一阶段在较大样本上单次适配基础模型,第二阶段利用轻量级 PEFT 估计器对残差进行重采样推断,支持 ensemble subsampling 和 nonparametric bootstrap。
论文研究未观测混杂下连续处理的偏识别问题,针对条件平均潜在结果(CAPO)和条件平均处理效应(CATE)。假设结果有界且响应函数和倾向得分关于隐混杂变量满足Lipschitz连续性。 方法通过利用对角线上的所有参考点进行约束,而非Kim等人仅用两个参考点,从而得出CATE的尖锐因果界限。这些界限在无需单调性或重叠假设的情况下依然有效。
科学发现方法论因领域而异且动态演化,传统大语言模型引导的进化搜索框架依赖固定程序或受限组件,难以应对运行时新挑战。研究团队提出 Organon,一种递归自改进智能体框架。
针对物理控制环境中固有动机方法忽视长时间尺度信息结果的问题,研究提出 Hamiltonian Temporal Contrastive Curiosity (HTC²) 框架。
针对 Tsetlin Machine 的 T 与 s 训练超参数,提出将准确率作为约束的定向搜索策略,通过增大 s 降低推理延迟。 基于 gem5 模拟器和 ARM 处理器测试,在保持基准准确率的前提下,该方法在六个数据集上将推理延迟最多降低 16.34%,部分数据集准确率仅下降 0.06%。 该策略所需配置评估次数远少于穷举网格搜索,显著提升了训练效率。
InterQ-RL 提出了一种无需额外前向传播的有界执行前缀校正方法,用于修复量化强化学习中的执行失配。该方法在 ALFWorld 等基准测试中,使量化模型性能与 BF16 精度相比差距缩小至 0.7 分以内。该技术适用于 4B 至 30B 的稠密及 MoE 模型,且学习速度优于单纯的量化对齐方法。
论文提出 LEAP 模型,结合掩码预测与潜在表征异常证据,无需重建或基于注意力的评分机制。 在 TSB-AD 协议下,LEAP 全模型在 180 条留出多元时间序列上取得 0.5179±0.0022 的 VUS-PR;单变量变体在 TSB-AD-U 的 350 条序列上达到 0.6194±0.0016。 五阶段消融实验显示各组件均带来统计显著的性能增益。
研究者提出无需训练的 BellowsKV 方法,通过映射相邻层隐藏状态到单一潜变量实现 KV 缓存跨层共享。 在 Llama-3.1-8B、Mistral-7B 和 Qwen2.5-7B 上,BellowsKV-Quant 在 3.6 倍压缩比下保留约 99% 全缓存准确率,13-14 倍压缩下保留 97-98%。 该方法解决了高压缩率下跨层共享缓存精度急剧下降的瓶颈。
MXFP8 强化学习在 Blackwell B200 上实现端到端训练,MoE 模型训练时间缩短 10.7%,生成时间缩短 24%。 在 Qwen3-30B-A3B 模型上,匹配网格采样器使 train-rollout KL 降低 11%–16%;短序列密集工作负载速度下降 5%。 七项权重同步条件中五项失败是静默的,CPU 故障注入测试复现了其中五项。
IsoAct提出了一种几何感知的后验去偏框架,能在非欧里得流形上识别去偏方向并保留结构完整性。 该框架利用切空间内的Fisher判别分析(FDA)识别噪声,并通过流形原生等距动作进行校正。 实验显示IsoAct在KLIFS数据集上兼顾了降低激酶组可恢复性、结构预测及姿态有效性。
CMM提出累积边缘匹配目标,通过Wasserstein-2距离优化分布对齐。 该方法将流匹配视为中间边缘分布序列,Shortcut-CSL为其一阶近似。在标准基准上,CMM在相同训练预算下优于现有基线。
研究指出标准扩展定律拟合存在拉什莫恩效应,导致不同参数拟合结果在扩展时产生显著偏差。 该文提出一种确定性分支定界算法,保证获得近似最优的拟合损失,并映射近优参数对应的扩展曲线范围。
研究发现混合专家(MoE)模型中,去重引擎在特定条件下比逐槽位引擎更快。去重加速仅在每轮 5-8 个 token 时生效,此时其字节份额低于带宽比。 该结论基于 Lean 形式化验证及 Metal、MLX-LM、CUDA 实测数据。
ScaleRLT 通过混合学习器实现对数概率计算,解决了循环模型中 rollout 与 dense 路径的浮点误差问题。在 FP32 和 bf16 精度下,该方法在 167 个测试单元格中实现了位级重现。
论文提出 DIGEST 框架,通过复用轻量 LLM 的预训练解码器块作为符号策略来增强遗传编程(GP)的种群初始化,解决符号回归中 LLM 方法难以有效利用历史搜索结果的问题。
核梯度流理论指出,在不可约标签噪声下,早期停止并非总是优于插值,二者优劣取决于核成分的平衡。 实验在 CIFAR10 上显示,深度卷积网络即便完全拟合随机标签,泛化误差也不随时间劣化。 相图揭示当高阶成分主导时,插值端点可达泛化误差最低点,挑战了早期停止的必要性。
论文分析了近似预测器与规划器反馈机制下的预测误差界限。在有限时界因果混合模型中,额外误差可达 $\kappa\eta\,2^{K(\mu)}$ 且界限紧致,计算能力无法消除该惩罚。 对于有界回报,价值误差由进入低覆盖分支的概率及 $\eta$ 的平方根项共同控制。
研究提出反应式优化器 OPAL,利用预训练语言模型智能体在单次训练运行中检查动力学并重写优化器代码。 在语言建模和图像生成任务中,OPAL 匹配或优于固定配方,可调整学习率、精度及动量,并展示了对数据损坏的适应性。 该方案无需针对特定优化器的元训练或跨运行记忆转移,代码已开源。
研究者发现 actor-critic 算法在 Starpilot 和 Craftax 环境中的经验缩放定律,可精准预测最大相差两个数量级的训练性能。 使用 Elo 分数替代平均回合奖励作为评估指标,显著提升缩放定律的可预测性,并在 Craftax 环境中创下新纪录。 进一步观察到计算最优模型规模出现非单调缩放现象,该规律与 Ray interference 病理机制相关。
Packed-SS 提出单次调用的自推测解码调度,在验证同时生成下一草稿,输入规模随推测宽度线性变化。 该调度在单调性假设下,贪心解码所需的模型调用次数不超过标准双调用方法。 在 Nemotron 3B/8B 和 SetDLM 1.7B 模型上,Packed-SS 实现了比两个基线更高的吞吐量。
该论文研究使用多个较小 LLM 提议推理步骤、由较大基础模型与过程奖励模型验证的扩展版 Guided Speculative Inference (GSI) 算法,并引入基于多重要性采样的加权方案以聚合来自多样化提议分布的样本。
研究提出基于模型信息量的缩放定律,揭示扩散模型训练中的非线性记忆与线性泛化两个定性不同的 regime。 该定律量化了模型信息随规模和数据量的变化,并能外推至拟合域之外,指导记忆与样本质量优化。 代码已在 GitHub 公开,为扩散模型的信息论特性提供原理性解释。
RadonBench 是用于构建最大基数 Radon-free 晶格配置的基准测试。该基准统一了成功判定标准,使不同搜索技术能够比较。 测试了穷举扩展、贪心局部搜索、PatternBoost、AlphaZero 和 AlphaEvolve。
Neural-DISCO 提出一种解耦表征学习框架,支持对神经群体活动的条件化反事实编辑,即在保留其他观测标签和个体变异性的前提下,通过编辑单一行为或刺激标签预测神经活动变化。
OmniReasoning团队提出基准测试与模型OmniReasoning-30B-A3B,以解决视听联合推理能力不足的问题。 该模型在OmniReasoningBench上取得42.5%的成绩,较基座模型Qwen3-Omni-30B-A3B-Thinking提升9.3个百分点。研究旨在推动全模态联合推理的未来发展。
多领域学者指出,AI 系统有望在未来几年内自动化大部分 AI 研发工作,这可能引发“智能爆炸”,将数年的技术进步压缩至数月。 智能爆炸可能极大加速 AI 效益,但也会带来超级 AI 失控及权力制衡被严重侵蚀的极端风险。 鉴于不确定性高且利害关系重大,政策制定者应紧急增强对 AI 研发自动化的可见性,并制定相关约束措施。
提出无需训练的committed reveal sampling(CRS)采样器,通过存储并插入选定的argmax token作为持久上下文,改变了离散扩散模型中并行更新token的机制。 在8至64次函数评估预算下,CRS的生成困惑度(GenPPL)低于固定$p=0.95$和$p=0.9$的top-$p$基线,且分布距离SOL同样随持久上下文降低。
LC-GRPO 提出流模型 GRPO 框架,通过 ODE 步长加朗之万校正解决训练推理不匹配,显著提升奖励优化。 该方法无需额外分数模型,SD3.5-Medium、FLUX.1-Dev 和 HunyuanVideo 实验显示生成质量保持且训练-推理间隙大幅缩小。 LC-GRPO 在文本到图像和视频任务中实现一致性能提升。
该策略通过动态分析Token嵌入相关性,在保留10% Token的情况下将视频字幕基准准确性提升7%,同时降低95%计算量。 方法属于事后处理,无需额外训练或微调,能在静态场景大幅剪枝的同时保留动态场景信息。
研究提出无偏奖励模型(URM)和无偏直接偏好优化(UDPO)损失函数,通过数学修正偏好噪声导致的扭曲,实现从噪声数据集进行无偏模型训练,无需真实标签。 方法被证明具备噪声容忍性、参数向下兼容性和分类校准性,在多个数据集实验中表现优于当前最先进基线,代码已公开,该工作已被 ICML 2026 接收。
研究提出 Zero-CoT Probe (ZCP) 黑盒检测法,通过截断 Chain-of-Thought 过程来揭示 LLM 中隐藏的规避性数据污染。 该方法将零 CoT 性能与同构扰动参考数据集对比,并引入 Contamination Confidence 指标量化污染的概率和严重程度。 在已识别及特别微调的污染模型上进行的实验证明,ZCP 能稳健地检测出直接和规避性的数据污染。
研究提出基于向量量化(VQ)的组合式多类别校准方法,解决局部校准中因降维导致的误差问题。该方法在表示空间构建结构化分区,通过共享因子生成区域特异性校准映射。 实验显示,该方法在基准数据集上显著改善了局部校准性能,同时保持具有竞争力的全局校准与预测效果。 该论文已被 NeurIPS 2026 会议接收。
论文提出由Expressive Leaky Memory (ELM) 神经元构成的ELM网络,用于研究固定参数预算下单元数量、复杂度和连接度的权衡。 模型在SHD-Adding和Enwik8基准测试中表现单调提升,发现复杂神经元更优,并给出了信息论代理指标和近Pareto前沿的缩放规律。
论文提出 ξ-DPO 方法,解决 SimPO 中 β 和 γ 联合调优困难且语义不对齐的问题。通过将偏好目标重构为最小化奖励间隙与最优边界的距离,并定义比率奖励 ξ 替代原有参数。ξ 可直接由初始奖励分布确定,实验显示其在多个开源基准上显著优于现有方法。