Atomic MathReasoner:基于原子推理技能组合的数学大语言模型框架
提出 Atomic MathReasoner (AMR) 框架,通过实例级组合原子推理技能增强数学大语言模型的推理能力。 AMR 训练特定能力的 LoRA 专家,利用无梯度优化发现低损失组合原型,并蒸馏至轻量级路由器以在推理时选择最优方案。
提出 Atomic MathReasoner (AMR) 框架,通过实例级组合原子推理技能增强数学大语言模型的推理能力。 AMR 训练特定能力的 LoRA 专家,利用无梯度优化发现低损失组合原型,并蒸馏至轻量级路由器以在推理时选择最优方案。
EfficientNet-B0 实验显示,在 P3-P5 阶段插入零门控自注意力适配器可使 ImageNet-1k 准确率提升 0.954 点至 74.02%。 注意力振幅随语义深度单调上升,P5 阶段达 66.3%。 交替双模板权重复用减少 10.9% 参数,单轮训练后准确率恢复至 70.92%。
研究揭示了随机初始化固定权重、仅训练偏差项的 ReLU 网络作为通用近似器的动力学机制,证明梯度依赖激活码。 理论表明在激活码固定时,训练简化为线性最小二乘问题,且宽网络中神经元的激活切换比例随宽度增加而消失。 实验结果支持理论发现,确认在无限宽度极限下训练动力学趋近于基于初始激活码的线性最小二乘。
研究发现神经网络最终权重保留选择性历史信息,30个网络在10个候选中准确匹配初始权重。 线性探针以100%准确率解码任务顺序,2157对端点显示低损失连接,表明共享任务未抹除个体学习历程。
研究人员提出一种直接在高维输入空间可视化并测量人工神经网络(ANN)决策边界几何特性的方法。 该方法避免了传统投影技术带来的失真,分析不同架构和训练方法下的边界曲率与距离。边界距离随子空间增大而平缓增长,且训练方法对边界特性影响远大于架构或准确率。 此方法为改进神经网络的可解释性和理解机制奠定了基础。
研究发现,MDM 和 MotionDiffuse 模型在平衡与飞行任务中,深层激活的信息提取收益不超过 0.01。跳跃下落率存在明显例外,MDM 早期去噪阶段线性探针的 R² 增益约为 0.08,且随采样进行而消退。该发现表明,评估模型物理认知需区分信息可读性与模型自身估计能力,对理解生成模型内部机制具有重要意义。
研究团队发布 RSIBench-Infra,这是包含 20 个训练与推理任务的基准,涵盖 NVIDIA GPU 和 Ascend NPU。 任务部署最多使用 32 个加速器,Agent 可修改引擎、内核和指令层级的软件栈,通过 OCI 镜像层协议提交更改。 结果显示 66.2% 的任务实现了超过 1.10 倍的速度提升,证明当前 Agent 能改进生产级性能,但策略转化仍具挑战。
summary_zh: 研究识别出循环神经网络(RNNs)受限于秩约束隐藏状态动态导致的时间信息瓶颈,该限制独立于梯度稳定性。 作者引入结构化高维状态动态以保持时间可分离性,防止输入到状态雅可比矩阵饱和;在受控序列任务中模型学习迅速。
该研究提出LLM辅助多保真贝叶斯优化(MFBO)方法,通过LLM解释专家关于低保真模型缺失物理效应的定性知识,生成知识基并将其纳入多保真模型。 在锂离子电池设计问题中,该方法将常规MFBO的遗憾曲线面积减少61%。受控实验表明,知识质量而非LLM选择决定了搜索加速效果,且知识层级消融量化了各陈述贡献。 结果表明LLM解释的专家知识可作为数值数据的补充信息源。
GateWatch 将 LLM 监控决策规则简化为布尔逻辑,在 Gemma-2-9B 上以 3.8 个 SAE 特征实现 80.49% 测试准确率。 其内存占用降低 99.98%,在 vLLM 中运行千个并发分类器时,仍保持 97-98% 的基线吞吐量。
AGAMOTTO 是一款 AI 驱动框架,旨在为指挥官提供集成仿真能力,以在实时作战中动态探索行动方案(COA)。 该框架作为 NGC2 计划的一部分,用于推动战术突击套件(TAK)等指挥控制系统的现代化,初步实验证明了其在时间受限环境中的可行性及训练策略。
针对预训练视觉世界模型难以避免碰撞的问题,提出风险触发搜索(RTS)方法。 RTS 基于冻结 JEPA 模型,通过轻量级风险头预测动作条件未来风险,仅对触发警报的计划执行 CEM 搜索。 该方法在五项任务上将 Safe Arrival Rate 提升 12.67–41.67 个百分点,并降低 17.71–70.41% 控制器时间。
CaDO 框架在 18 组实验中的 16 组显著优于最强数据清洗基线,将下游模型准确率提升高达 9.1%。 该框架通过形式化因果推理、多级诊断和自动修复生成三阶段工作,95% 以上标记样本确认为缺陷,在 CLadder 上错误修改正确标签比 LLM 裁判少 92.2%。 代码和数据已公开可用,可促进高质量因果推理数据集的发展。
研究提出超时级联策略,优先运行小模型,仅在必要时升级大模型。 该策略在 SWE-bench Verified 基准上将总 GPU 小时成本降低 33%,整体任务降低 16.4%,且准确率无损失。 级联策略性能接近最优任务路由器,为生产环境部署低成本编码智能体提供了低工程复杂度的实用路径。
STEMBench 基准发布,涵盖高能物理等 12 个博后级科研问题。 每个问题采用领域特定的“功绩标准”评分,并配备无领域知识提交与专家参考两个锚点。 测试 8 个前沿模型显示,任务级胜出与领域级领先出现分离,部分模型平均分在 12 题中的 7 题超过专家锚点。
该研究提出多专家重放策略蒸馏(MRPD),通过重放专家训练日志进行整合,无需额外采样或调用环境。该方法计算成本仅为原 RL 训练成本的大约七分之一。 在推理、搜索和 SQL 三个长程智能体领域,MRPD 生成的学生模型显著优于在线 RL 基线。实验表明日志顺序比数量或奖励更重要,表明专家训练日志实质上是课程学习而非数据混合。
新型循环序列混合器 Kernel Ridge Attention (KRA) 结合学习非线性特征与协方差引导的记忆更新。 通过递归岭回归存储关联,利用 Ornstein-Uhlenbeck 过渡控制保留率,使推理状态大小独立于上下文长度。 在语言建模实验中,KRA 预测质量优于注意力及循环基线模型,并实现高效的分布式训练吞吐量。
论文提出 Embodied Graph 和 Relational World Model (RWM),通过稀疏状态抽象解决长时程任务中预测误差累积问题。 RWM 包含任务感知图构造器和图循环状态空间模型,在 Minecraft 实验中成为唯一在预算内获得钻石的方法。 实验还验证了关系状态预测在 Web 智能体决策中的适用性。
研究证明 $O(\log |G|)$ 次随机重写足以替代单一表示的重复采样,恢复所有 $|G|$ 次重写提供的信息,且该对数扩展律在一般情况下是最优的。 理论表明,只要模型答案依赖于输入写法,在相同前向传递次数下,将计算预算用于重写输入而非重复采样原始提示词,准确率会显著提升。
提示词条件化 SDF 让 LLM 相信 prompt 中的虚假事实,其信念深度随训练事实数量呈对数线性增长。该方法成本较低,结合 RL 减少虚假事实口述率在部分评测中接近 SDF。 小模型在常规蜜罐系统提示中常已表现出对 prompt 事实的相信,导致对齐审计实验结果为负面。
STRM通过简化状态和统一更新提升了TRM性能。 该模型在Sudoku-Extreme和PPBench上分别比TRM高3.8和8.4分。 它在ARC-AGI-1和2上比已发布的TRM结果分别高5.4和0.5分。
提出无训练判别器 Vanguard,使 2B 模型在 Web、移动端及具身任务上准确率不低于 8B 目标模型,并在 Mind2Web 和 EB-ALFRED 上显著更优。
Toaster 通过组合两个线性记忆层并引入激活函数,构建了两层非线性记忆架构,利用目标传播机制更新隐层状态。 在 C4 和 PG19 数据集上,Toaster 的困惑度在所有测试尺寸(0.2B-1.6B)均优于 KDA 并匹敌或优于注意力基线,最大模型三试准确率 51.84%。 在 20K token 长度外推中表现稳定,且比 Titans 快 2.8-5.5 倍,提升了长序列处理效率。
该论文表明,当目标分布 $p$ 满足 Poincaré 不等式时,可通过规避“路径空间”分析来缓解扩散采样器的误差累积。 现有理论中采样误差随时间线性多项式累积,本文通过放宽度量至弱度量,在更广泛的框架下实现了这一结果。 研究进一步揭示,给定分数误差界,扩散采样器在总变差距离上几乎达到最优识别精度。
T/E/S 结合文本、局部事件和活动跨度,在 76 个评估组中,对 Transformer 和 Qwen 的下一结果预测准确率分别达到 70/76 和 74/76。 通过有限过程实验,取消共享延续质量的边界恢复了最优动作,将平均推理 CPU 时间减少 77.7%;在 71 个 HotpotQA 和 MuSiQue 保留集上,Brier 损失从 0.0836 降至 0.0756。
FACT 框架通过跨步训练与置信度引导分配,将 Llama-3-8B-Instruct 在 HumanEval 上的加速比从 1.46× 提升至 2.02×,MT-Bench 从 1.31× 升至 1.75×。
summary_zh: PivotLoRA 证明 LoRA 适配器初始输入子空间方向的重要性取决于机制,并在 13 种方法中取得少样本 BERT-base 分类最佳平均排名。
新架构 ARISE 通过自评估机制在无需更新模型权重的情况下演化智能体记忆。 基于 SOP-Bench 和 $\tau^2$-bench 测试,ARISE-Teacher 利用 Claude Opus 4.6 归因,相比基线分别提升 10.9 pp 和 5.8 pp,且模型调用减少 4.0%。 该架构在 14 个企业工作流领域验证了可行性,实现了准确性提升与成本控制的平衡。
论文理论分析了 On-policy Distillation 中目标选择对 Token 优先级、顺序及优化效率的影响。 研究发现序列级 OPD 存在“未来一致性偏差”,导致先匹配后段 Token 的反向学习顺序;前向 KL 散度具有良好优化景观,而反向 KL 等散度易出现梯度消失。
LProp 提出一种潜在不确定性传播机制,在 LLM Agents 中利用潜在表示和新证据修正继承的分布,无需额外轨迹采样。 该方法在选择题、数学推理等任务上优于基线,并在八种传播场景中实现最低的推理 token 平均用量。
针对有限阈值分布族,研究在固定总质量约束下最小化决策后悔的 Proper Loss 权重设计。 通过裁剪阈值密度上包络并设定下限,推导出一维根搜索确定的最优权重,该方案在合成实验中优于均匀权重。
该研究证明切比雪夫抽象能突破 Taylor 展开在复平面的收敛半径限制,以几何速率扩展认证可达集宽度,实测误差公式匹配率介于 89% 至 94%。 方法采用闭式严格余项,首次实现多项式 Softmax 变换器,并在闭循环及 MNIST 分类器测试中,成功认证了 Taylor 方法因发散而无法证明的输入区域,所有认证声明在蒙特卡洛测试中零违反。
该综述考察了Prandtl神经网络、Preisach神经网络等模型在非线性滞回系统中的应用,重点分析其记忆表示机制与网络架构。 模型通过停止算子引入滞回记忆,利用退化停止神经元捕捉刚度退化及非共形滞回,并扩展至处理速率依赖行为。 EPNN结合退化算子与速率信息,能够适应对称或非对称、共形或非共形等多种滞回特性。
summary_zh: SANTA++ 提出了一种无需训练的随机注意力方法,利用代表性键在 32K 上下文下保留 95-98% 的密集注意力分数。 该方法将缓存键分组,采样代表以决定团队,并在 RTX 5090 上实现 1.38 倍 Flash SDPA 速度提升。
XMerge 是一种后训练方法,通过跨轴选择识别低变化块,并由局部边界重建重新拟合相邻层,实现 LLM 深度压缩。 该方法无需任务标签或端到端微调,不引入架构变更或额外推理参数,在 Llama 和 Qwen 骨干模型测试中表现优于现有基线。 在 k=4 移除级别下,XMerge 在 CORE 和 MMLU 基准上排名第一,避免了大困惑度增加,被 NeurIPS 2026 接收为口头报告。
MOLT 是 Hugging Face 原生的极简可扩展智能体强化学习开源框架。 代码仅 9.2K 行,支持 4B 至 753B 模型,异步训练速度提升 2.4 倍。 其训练器 NeMo AutoModel 支持高达 2.8 万亿参数的模型。
在推理模型服务中,基于校准数据动态选择停止规则比预设静态token预算更优。5%风险目标下,学习规则在Qwen3上比静态预算多节省10.4-17.0个百分点token,准确率低于完整推理2.4-2.9点。 预承诺某类策略在某些工作负载中最高损失27.4点,而校准选择最多仅落后最优类11.6点;Qwen3-8B在vLLM中平均响应时间与生成token数成正比。
论文提出无需训练的DUME方法,通过岭回归将不同领域的稠密专家复用为统一MoE模型。实验显示其在推理场景中平均达到原稠密专家104%的性能。该方法支持动态增减专家,且代码已开源。
该方法结合签名词汇证据与分类器置信度间隔,构建双特征置信度模型用于对话式AI意图路由。 在BANKING77、CLINC150和HWU64数据集上,该方法将风险覆盖曲线下面积分别降低15.8%、15.1%和11.8%;在5%错误率目标下,BANKING77的请求接受率提升1.83个百分点。
Swiss-Knife 框架通过可热交换评分模块和解码时选择规则,在帮助性/诚实性/无害性平衡上取得谐波 F1 0.797,优于基线 0.750。 其核心组件 Candidate-Batch Normalization 使权重单形对奖励模型重标定不变,且目标重构耗时仅 0.05 ms,无需梯度计算。