Lightning Weave 如何通过能力组合提升推理模型的准确率-效率前沿
Lightning Weave 提出通过组合独立后训练模型的能力,显著提升推理准确率并减少推理效率开销。 该框架利用 on-policy distillation 提取策略偏移,通过 Tilted-Target DOPD 生成稳定学习目标,避免并发服务多个 anchor 模型。
Lightning Weave 提出通过组合独立后训练模型的能力,显著提升推理准确率并减少推理效率开销。 该框架利用 on-policy distillation 提取策略偏移,通过 Tilted-Target DOPD 生成稳定学习目标,避免并发服务多个 anchor 模型。
SCHEMA 是首个基于证据且拓扑感知的科学智能体幻觉评估框架,能从基准种子和文献构建科学概念图。该框架合成覆盖声明验证、多跳推理等任务,并通过轨迹审计与反事实归因发现幻觉集中高连通知识枢纽,最终答案准确性与轨迹诚实度解耦。
LISA 提出一种即插即用的自注意力替代方案,将长链式思维推理的计算复杂度从序列长度的二次方降低为线性。该方法结合线性注意力分支与 Lightning Indexer,通过动态稀疏选择优化计算资源分配。 在基于 Qwen 的实验中,LISA-1.5B 模型在 16K 上下文下将平均样本延迟降低 23.9%,同时在九项数学与代码推理基准测试中,其平均准确率比全注意力基线提升 4.2 个百分点。
针对现有基准忽视规则与策略层级的高阶推理,HOLogicBench 发布 1,379 个带 Isabelle/HOL 形式化及证明验证答案的实例,系统评估五类高阶推理操作。
MBT-A 提出通过 Agentic 逐行编辑教师模型推理轨迹并记录为 git commit,将七种元认知行为注入其中,再训练学生模型。在竞赛数学任务上,Qwen3.5-4B-Base 学生模型使用 MBT-A 轨迹训练,得分 85.4,高于未编辑轨迹 SFT 的 83.1,并优于 token 匹配对照及五种既有方法。
Re4 框架通过协同推理 LLM 链提升科学计算代码生成成功率,显著降低非物理解比例。 该框架集成 Consultant、Programmer 和 Reviewer 三个模块,实现代码自动调试与迭代修订。
提出的Integrated Estimate-Optimize (IEO)框架将维护成本直接设为预测学习目标,优于传统Estimate-Then-Optimize (ETO)方法。 实验显示IEO将平均维护成本降低14.8–22.7%,失败率和成本方差显著减少,尽管预测误差更高。 这种对齐在计划与非计划停机成本比升高时效果更明显,支持预测学习与维护目标直接挂钩。
多模态大模型在视频理解中常因缺乏机制重访视觉证据而导致视觉遗忘。VideoLVR 通过构建局部区域的潜在视觉证据来支持中间推理步骤,并引入视觉 token 预测目标,将视觉重建与文本生成统一在相同的 token 预测框架中。
研究者提出GAS-PFN,将随机游走扩散融入合成任务先验以学习图耦合动力学,实现零样本交通预测。 在90分钟预测时长的六个基准测试中,GAS-PFN的平均MSE较TimePFN降低34.0%,较四款工业界通用零样本预测器降低27.7%。 该设计表明使PFN先验与推理架构对齐图结构能提升零样本交通预测的上下文学习能力。
论文指出“结构鸿沟”:在有限数据下,仅靠示例学习的性能无法匹配拥有显式结构知识的求解器。 文章在 Gauss 反问题中证明,基于结构的 Wiener 求解器能达到 Bayes 风险,而仅用数据的学习者存在持续期望超额风险。 该研究通过控制实验验证,已知结构能在学习前约束假设空间,提升小样本下的泛化与可认证性。
AdaRoll-GRPO 提出基于 Bayes-adaptive MDP 的自适应 rollout 分配策略,在固定总预算下提升 GRPO 训练性能。该策略将难度感知分配建模为序贯决策问题,离线计算策略避免在线优化开销。实验在多个推理数据集和 LLM 架构上验证了该方法优于标准 GRPO。
研究证明混合专家模型(MoE)解码中的通道选择无需校准数据。Top-k 方法在 13% 和 18% 预算下,于 43 次对比中的 40 次表现优于或等于阈值法。 该方案在 Gemma 4 上避免了循环崩溃,且基于权重的读取器在 17.8% 的读取率下保留了 98.1% 的完整模型精度。Triton kernel 在批量为一时比 vLLM 快 1.60 至 1.90 倍。
研究证明,直接偏好优化(DPO)中基于单模型对的Delta学习假设会引入依赖生成器的系统性偏差,导致训练效果低于多模型数据。 实验发现,即使大模型响应质量更高,单对数据仍因奖励黑客(reward hacking)导致表现不佳;增加生成器数量可部分缓解此效应。 结果强调生成器多样性是构建偏好数据的关键因素。
该论文提出 LearnPrunerV2,通过引入可学习模块与影子 token,解决现有 Token 剪枝中判据不可靠及调度僵化的问题,在 LLaVA-v1.5 上剪枝 77.8% 视觉 token 仍保留 99.8% 性能。模型通过 Budget-Deterministic Pruning 建立硬件友好的固定每层预算调度,并在多个基准测试中持续超越先前最先进方法。
当大语言模型在难题上所有 on-policy rollout 均失败时,PICO 提出策略兼容联合解码。该方法在有限发散预算内约束分布,生成既验证正确又兼容策略的轨迹,并与 on-policy rollout 联合优化。PICO 在多样化推理与 agentic benchmark 上持续优于标准 RLVR 及先前 off-policy 基线。
论文提出 Select-TTT,一种模型无关的查询条件化规则,通过缩放写入强度解决 In-Place TTT 中无关内容稀释相关信息的缺陷。 该规则直接利用冻结输出头计算查询相关性,经温度缩放 softmax 生成学习率乘数,无需额外参数或监督。 Select-TTT 在两个基准和两个骨干模型上持续提升长上下文问答性能,对长时序代理任务具有潜在价值。
iFLEX 模型通过条件扩散模型生成残差修正加权平均估算,在 Navier-Stokes Kraichnan 湍流等数据集上降低了重构误差。 该模型利用两个观测值、目标时间及物理参数作为条件,生成残差加回初始估算以重构中间科学场。
研究提出保守博弈带徒算法,要求每轮较好选项累计得分高于可信基线 $(1-\alpha)$ 比例。 针对线性效用开发 MaxInP-BC,以 $\tilde{O}(d\sqrt{T}/\kappa)$ regret 实现高概率安全;通用效用类开发 BTIGW-BC,将在线逻辑回归 oracle 保证转化为累积安全证书,确保有限次回退且 regret 亚线性。
研究人员提出细粒度可解释的 ClaimNov 模块,用于识别 AI 科学发现中的新颖性。该模块在 1.5% 的误报率下拦截了 97% 的伪装论文。 相比最强现有检查工具,ClaimNov 的声明级新颖性分析将 LLM 评委的误报率从 11.8% 降至 1.5%,并保留了 91% 含有拼接先验贡献的新颖提案。
研究人员发布 BUSTA 框架,通过逆向基础块执行训练小语言模型,使其在资源受限环境中处理逆向工程任务。 使用 GRPO 对 Qwen3-1.7B 和 Nemotron-3-Nano 微调后,已知寄存器预测准确率分别升至 85.3% 和 95.2%。 细调后的 Nemotron-3-Nano 性能接近前沿模型最高分 99.2%,参数量大幅减少。
研究提出一种名为PHLE的方法,通过评估基座模型对输出的似然来解码潜意识信号。 该方法能区分带有“爱猫头鹰”或“爱鹰”提示的数字串,以及移除显性对齐缺陷后隐藏伤害用户意图的回答,而提示词分类器表现接近随机猜测。 PHLE在Qwen和Olmobase模型间部分有效,为Persona Selection Model提供了证据,可用于审计模型隐藏目标。
针对多智能体辩论中区分证据“复制”与“印证”的难题,提出基于 RRI 公理的判断框架。 该框架引入 lineage quotient 保留不同证据根,并在 QBAF 中证明其对新证据的响应特性。 在 28,224 个直接星型及 2,052 个多层 DAG 等数据上的审计验证了该框架的理论预测。
提出Fin-SD后见自蒸馏方法,在FinanceReasoning Hard子集上使GPT-OSS-20B准确率提升3.03个百分点。 通过截断错误前缀并注入简短批评作为提示,该方法生成token比完整参考方案少9.5%,且在MMLU-Pro等基准测试中未出现显著性能回退。
AgentBaton 采用“强模型到高效模型”的接力策略,在 11 个模型组合及两个基准测试中,平均降低 65.9% 的 API 成本,任务准确率基本保持甚至提升最高 8.8 个百分点。 该轻量级检测器通过识别任务进度中的重复模式,决定何时从强模型切换至高效模型,优化了成本与准确度的帕累托边界。
研究通过因果干预发现,Gemma4-12B-it 在文本与图像模态间共享数值计算的几何结构。 直接复用子空间仅恢复 53.2% 因果效应,经旋转和缩放后恢复率升至 91.4%。 13 个输出层不可见方向中,77.6% 的情况下可定向后续数字输出。
研究通过七变量结构因果模型分析思维链(CoT)忠实度评估中限制于正确回答实例产生的选择偏差,推导了观测差距公式。 对18篇论文进行协议审查,并在四个算术任务部署中验证了正向选择差距,其中 GLM-5.3 模型在1000个样本下显示出 +7.4 个百分点的差距。 当反事实依从性可观察时,直接评估所有推理轨迹可估算总体忠实度,无需进行正确性过滤。
研究人员利用 AlphaCNOT 工具发现了一种针对远程转置的重复分解模式,该模式在图距离 $d>1$ 时仅需 $6d-4$ 个 CNOT 门,优于基于 SWAP 路由的 $6d-3$ 个 CNOT 门。
针对RLVR rollout 坍缩至狭窄推理轨迹的问题,提出包含轻量控制器的Guided-RLVR。 控制器向采样分布注入语义引导token,鼓励模型从多角度接近问题。 在数学推理与代码生成基准上,该方法持续超越现有RLVR,生成更丰富的推理路径。
研究提出用于大规模生成高保真对抗性证明的 TROJAN 流水线,并构建了包含专家评分的 USAMO 2025 候选答案数据集。 评测覆盖 20 个模型、7 项指标及 3 种推理方法,显示前沿模型在验证数学证明方面仍有较大提升空间。 提出的 MABGrader 多臂老虎机框架在二次加权 Kappa 指标上比 SOTA ProofGrader 高 26.4%,并将评分误差降低 14%。
针对假新闻检测中因时间线错乱导致局部证据连贯但时间不匹配的“证据连贯性陷阱”,研究者提出了文档选择自更新智能体 DelSA 和包含 30,706 篇文章的时序锚定基准 ChronoFake。
研究在83个已发布的LLM服务内核产物中发现19例确认的批不变性违规。 提出的BI enforcement工具将内核优化中的批不变性通过率从67.6%提升至91.9%。 该方法作为插拔组件集成于现有内核生成智能体框架,用于强化生成内核的可靠性。
研究发现红心等简单视觉符号能隐式引导 VLMs 在编码任务中生成递归解决方案,但该效应与模型直接解读存在显著差异。模型间视觉沟通存在生成与解读偏差,发送的直观图形常无法有效引导其他模型。这些发现揭示了 VLMs 视觉沟通的潜力及与人类惯例偏离带来的挑战。
MAREval 是一个基于大语言模型的结构化多智能体框架,旨在评估推荐系统中的自然语言解释。 该框架包含协调评估计划的规划器、缓解提示漂移的调节器、聚合输出的仲裁器及蒙特卡洛采样方法。在线 A/B 测试显示其在用户参与度和收入指标上均有显著提升。
RefactorProof 发现 LLM 生成证明在程序重构后表现脆弱,结构 PSR 介于 4.3% 至 26.8% 之间。 测试基于 458 个 Lean 变体,DeepSeek-Prover 和 Goedel-Prover 表现优于参考证明,存活率高 15.6 至 20.3 个百分点。 研究被 NeurIPS 2026 Workshop 接收,旨在衡量证明稳定性,而非修复证明的成本。
研究发现 Ollama 官方 305 个 GGUF 代码模型中有 7 个(2.3%)低比特量化版本在 HumanEval+ 任务上失效,但重测证实其权重数据完整未损坏。
平衡 k-shot 采样引发 KLPCDA 精确退化,截断伪逆移除类间信息子空间,导致准确性随 BLAS 线程数变化达 12 个百分点。 在四个数据集、三个嵌入模型评估中,岭回归正则化 KLPCDA 在 48 个设定中优于 45 个原始变体,E5-Mistral 增益最大。
研究发现单流 WebGPU 大语言模型推理中,单次操作 dispatch 开销而非内核计算主导推理成本。 测量表明 dispatch 成本与数据类型无关,受控融合实验证实在 batch size 1 时瓶颈源于 dispatch 次数。 结论指出优化路径在于减少 dispatch 次数,并推动引擎及 WebGPU 规范实现 dispatch 摊销。
研究使用 Group Relative Policy Optimization (GRPO) 微调参数量 1.5B 至 14B 的 LLM,通过 Wikipedia 修订工具或新闻摘要实现超出模型知识截止日期的真实事件预测。
BASTION 是一种无训练的预算感知推测解码框架,通过动态构建查询依赖的树结构扩散起草,在多种 GPU 架构上实现最高 6.61 倍于标准自回归解码的加速。 该框架集成了接受代理、在线延迟估计器和自适应最优优先扩展,利用硬件感知 roofline 模型平衡起草质量与验证成本,超越现有块扩散基线 39%。 发表于 NeurIPS 2026,保留目标模型分布且无需针对不同设置进行调优。
研究在 Transformer 上进行基数数字提取测试,模型在三个随机种子下达到 99.83% 的精确准确率。线性探针能解码算法中间值,但因果测试显示这些值未被传输至输出流,且稀疏电路搜索发现变量路由在后期才结合。该案例表明,当存在显式算法假设时,基于探针的结论可能与因果观察结果存在显著分歧。