大语言模型推理轨迹探测:七款开源模型在四个基准上的表现分析
研究团队提出一种轨迹探测协议,通过截断并重新注入部分推理轨迹来评估模型预测答案的动态变化。 该协议应用于 Qwen3-4B/8B/14B、gpt-oss-20b/120b 等七款开源模型及 GPQA Diamond、MMLU-Pro 等四个基准。结果显示准确率随推理 token 比例增加而提升,且强模型常复现弱模型的错误,但允许进一步推理可显著恢复正确率。
研究团队提出一种轨迹探测协议,通过截断并重新注入部分推理轨迹来评估模型预测答案的动态变化。 该协议应用于 Qwen3-4B/8B/14B、gpt-oss-20b/120b 等七款开源模型及 GPQA Diamond、MMLU-Pro 等四个基准。结果显示准确率随推理 token 比例增加而提升,且强模型常复现弱模型的错误,但允许进一步推理可显著恢复正确率。
提出自适应逐层变换框架,将 LLM 量化中的激活和权重离群值转化为可微分优化问题,并根据权重分布峭度指导逐层选择最优变换。 在 LLaMA-3-8B 模型的 W3A3KV2 低比特量化下,该方法比现有最优方法 FlatQuant 降低高达 4.58 点的困惑度,并将六项零样本任务的平均准确率提升 2.11%。 该工作证明了采用异构逐层变换策略对于实现最优 LLM 量化是必要的。
summary_zh: 提出“结构化思维”方法,通过两轮推理提升 LLM 因果推断。Qwen3.5-27B 在 Corr2Cause 基准上 F1 从 77.5 升至 86.5。
summary_zh: 研究基准测试了变分量子循环神经网络(QRNN)在时间序列预测中的记忆与非线性处理能力。结果显示,量子模型性能与经典模型相当,但经典模型在研究范围内随记忆尺寸扩展性更好。
在线共形预测中,长期覆盖率约束与即时覆盖率稳定性存在权衡。论文证明当长期覆盖率偏差界为 O(T^{-β}) 且 β∈[0, 1/2] 时,可构建两全算法;若 β∈(1/2, 1],则无法同时优化即时覆盖率。该结论揭示了在线预测中鲁棒性与稳定性之间的理论界限。
针对 Shapley 值计算的高昂成本,提出结合分层抽样与联盟杠杆得分的采样估计策略,在 Owen 多线性扩展框架内加速特征重要性分析。 该方法显著降低了指数级偏导数计算的复杂度,在维持解释准确性的同时大幅减少计算开销,适用于大规模机器学习模型的可解释性场景。
论文提出利用二阶心理理论(ToM-2)生成理解陈述,修正教师对学习者知识模型的过时偏差。 在模拟实验中,完美教师引导下的学习者所需学习轮数约为传统学习者主导查询的一半;在四名协作教师交替教学中,ToM-2 陈述能比平均信念陈述更好恢复性能优势。 该研究在 n=101 的人因实验中验证了 ToM-2 陈述在降低 regret 方面优于无信息引导教学,提升了最终奖励对齐度。
该研究证明了对于一阶系统形式的非线性偏微分方程,若满足稳定性与Lipschitz连续条件,最小二乘残差等价于PDE兼容范数下的误差。 验证了单调反应、扩散及压缩Neo-Hookean超弹性模型。在有限元空间中训练神经算子,推理时损失差值可有效估算误差,精度优于网格基线。
研究首次系统分析大语言模型对逆关系方向性的建模能力,基于包含5457个实例、覆盖27类逆关系标签的基准,评测了5个开源LLM。 发现模型在逆关系分类中存在系统性不对称,关系描述未带来一致性能提升,且模型性能对实体表示的变化较为敏感。 该研究已被EACL 2027 Findings接收。
自注意力机制被证明是实空间 Dyson 迭代,其 Boltzmann 核充当二体自能。 该机制能捕捉关联物质中的非局域二体关联,弥补 DeepSets 均值场模型缺陷。 研究阐释了注意力机制在双体相互作用宇宙中有效性的物理本质。
LLM-as-a-Tutor 框架扩展了大语言模型在强化学习中的角色,从仅作为评分者升级为既能识别非挑战性提示词,又能通过添加原子级约束来动态生成更复杂提示词的教育者。
提出利用LLM表征几何学预测概念组合失败的方法,将组合失效归因于显著特征间的干扰。 研究发现,若两个概念近正交编码,模型可可靠组合;若线性编码接近产生干扰,模型则失败。该方法无需评估特定输入即可预判失效模式。 该结果为基础利用几何学识别高风险样本、构建针对性压力测试提供了可扩展框架。
CONGA 编译器通过识别高斯块并选择时空、频谱或稀疏实现,加速结构化贝叶斯模型的后验推断。 在 Stock-Watson 通胀模型中,CONGA 使 NUTS 每秒最小有效样本数提升 12.5 倍。 该工具还能在原始目标函数失败时恢复收敛,例如将 6760 维电力负荷模型缩减至 34 个核心坐标。
该框架通过将问题形式化为约束 Ising 型能量最小化问题,独立利用 LLM-as-a-judge 进行成对比较,并提出了高效的近似策略以支持大规模应用。 JC 证明了其比典型投票或加权聚合更优越,尤其在具有挑战性的问题中表现尤为显著。
论文提出SARL无标签强化学习框架,通过奖励推理拓扑结构替代结果验证。在可验证数学任务中,SARL在AIME25上通过GRPO算法提升44.7%;在开放任务中,WildBench平均分提升30.4%。该框架代码和数据已开源。 ```
针对算法选择模型可能依赖算法忽略信息的“捷径学习”现象,提出“橡皮尺测试”通过随机严格递增变换目标值来检测该偏差。 在10维BBOB基准上,使用所有ELA特征模型的R²从0.85降至0.23,而基于秩的特征可减缓此下降;结合变换训练实例的数据增强可提升变换实例预测,但使原始实例R²最多降低0.31。
提出谈判基准 PieArena,评估 LLM 在现实商业任务中的战略推理与心智理论能力。基准基于精英商学院课程场景,通过镜像、交叉及人机配对制度进行测试,并开发连续收益排名模型生成序不变且带不确定性量化的排行榜。研究发现共享意向性脚手架对中低层 LLM 提升显著,而前沿 LLM 收益递减;代表性前沿语言智能体的表现达到或超过经过培训的商业学校学生基准。
当前大语言模型在表格失真下表现存在系统性弱点,GPT-5.4和Opus-4.6准确率仅68%。 模型过度假设表格结构良好而忽视失真,通过轻量微调可提升自主检测与修复能力。
研究人员推出 MSLR,首个基于真实司法决策的中文多步法律推理数据集,旨在解决现有基准混淆事实召回与推理的问题。 该数据集采用 IRAC 框架建模专家推理,通过人机协作标注生成步骤级注释。实验显示模型表现仅中等,自主生成的思维链提示优于人工设计。
ReST-RL 框架通过优化 ReST-GRPO 和 VM-MCTS 提升 LLM 推理准确性,在 APPS 和 HumanEval 等基准上超越 GRPO 和 PRM-BoN 基线。 该方法利用自采集数据训练价值模型进行解码优化,无需针对目标领域微调即可在数学和科学任务中实现性能提升。
SPECTRUM框架通过线性时间复杂度挖掘逻辑规则,显著降低神经符号AI中逻辑理论构建成本。 框架定义规则效用指标并证明理论保证,在CPU上运行时,学习更准确逻辑理论的速度比GPU上的SOTA神经网络快100倍以上(运行时间<1%)。
研究提出 Manifold-Index Model,在固定内在维度下,所需样本量随环境维度 $D$ 多项式增长。 方法 MANOR 通过多尺度 PCA 估计切平面,实现 $n^{-4/(m+4)}$ 的预测误差率。计算复杂度关于 $n$、$D$ 和 $p$ 均为多项式级。
提出 ST-GAT-NCO 架构,将动态时空图注意力网络与嵌套集群优化相结合,以解决多资产战术配置中的协方差病态问题。 在 2020 年 1 月至 2026 年 1 月的 73 个月非前瞻性样本外窗口中,ST-GAT-NCO 在 13 类全球资产上实现 5.32% 的年均复合增长率和 37.06% 的净累计回报,超额夏普比率为 0.30,索提诺比率为 0.48。
该研究将 RSMA 辅助的 SWIPT 应用于无人机赋能的无线供电地下传感器网络,旨在最大化各地下设备的最小上行链路吞吐量。 模型采用 PD-TQC 深度强化学习算法,联合优化无人机发射功率、消息分割及资源分配,解决了非凸优化难题。 仿真显示,该方法在 96% 以上的评估帧中满足约束,并在不同 Rician 因子及设备数量下保持吞吐量优势。
论文建立了异步 Q-learning 搭配 Polyak-Ruppert 平均的尖锐非渐近高斯近似速率,证明了 Wasserstein 距离下 $\widetilde{O}(n^{-1/4})$ 的上界及匹配的日志因子下界。
PassCal 通过少样本学习预测未见使用者对未见人行场景的判断,仅用 8 个样本将 Brier 分数从 0.550 降至 0.479。 模型结合冻结 VLM 内部状态与检测器预测的障碍属性,在 14.9k 公共审计数据上训练,优于直接提示 VLM 或无场景校准的方法。 符合风险控制使“决定性强场景”占比从 27% 提升至 42%(5% 错误率下)。
提出条件资产定价 Transformer(CAP-T),通过两阶段学习预测超额收益并分解收益成分。 第一阶段用 Transformer 估计条件预期收益,结合核加权主成分分析残差估计局部因子载荷空间,分离因子风险补偿与条件错误定价。 框架分解收益为条件错误定价、因子风险补偿、居中因子成分及不可预测创新,提供统计保证并展示预测与解释优势。
研究团队提出轻量级框架 ReAccess,解决视觉语言模型细粒度理解难题。该框架通过紧凑关联记忆复用关键视觉证据,无需重复图像编码或显式推理。实验显示其在通用视觉理解和细粒度感知上均取得一致提升,且推理速度显著快于现有依赖密集型推理的方法。
针对参数化MDP中的多属性漏洞发现,提出了一种基于场景的风险证书方法。 该方法采用两层结构:场景近似层提供识别保守漏洞区域的PAC保证,测试层将随机参数探索视为对重叠区域的覆盖并计算停止证书。 组合定理界定了预期未发现分数,实验使用经验代理和独立置信界评估了这些证书。
该文为受限 $\ell_p$ quasi-norm 约束的深度神经网络推导了非渐近泛化间隙界,揭示了稀疏性对统计性能的影响。 在准范数阶 $p$ 趋近零的极限下,界限转为对活跃(非零)参数数量呈平方根依赖,严格优于现有参数计数方法。 该结果被 NeurIPS 2026 接收,共 61 页,包含 2 个图表。
summary_zh: 针对O-RAN中异步反馈导致的时延奖励问题,提出一种时延感知深度强化学习框架,实现收敛加速并显著降低时延违规与丢包。 框架集成基于LSTM的时延预测器与时间奖励重对齐模块,采用off-policy学习管线,并基于Open AI Cellular(OAIC)测试床经验时延轨迹验证。
大型语言模型算力租赁与Token输出市场已建立价格指数及衍生品交易,CME和ICE已制定期货合约。 研究发现合约结算价基于短期租赁率,而非运营商主要收入来源的长期私有合同价格;Token价格与租赁率通过吞吐量关联但风险敞口不同,GPT-5在十二个月内最低列表价下跌17倍。
Olmo-core 更新训练栈以支持可扩展 MoE 训练,采用 DDP 及 Expert Parallelism,避免传统 FSDP 的高吞吐损耗。 支持 1.2 万亿参数在 512 GPU 下达到 858 TFLOP/s/GPU,DeepEP v2 后端可扩展至 2.38 万亿。 提出 Token Gerrymandering 缺陷,发现重叠通信会显著拖慢 Kernel 速度。
提出SAFER框架,通过离线学习他人失败并在线自我修正,解决自动驾驶世界模型在训练数据覆盖范围内外的探索与利用困境。 框架结合分块隐式世界模型与风险感知采样规划器,在CARLA排行榜路由中实现0.95的路线完成率和0.77的单步奖励,MetaDrive常规交通回合奖励达53.4。
Domino 通过一阶马尔可夫链建模同一去噪步骤内揭示位置间的条件依赖,优化掩码扩散模型的少步采样。 该方法在预训练 MDM 去噪器隐状态上实现,仅增加 2.6% 参数开销,训练时冻结去噪器。 在 LM1B 等文本数据集上将少步生成困惑度降低 1.7 至 3.8 倍,分子样本有效性提升 1.5 倍。
研究表明,在BB84量子密钥分配中,基于强化学习的自适应检测器无法收敛以关闭隐蔽窃听窗口。 实验将博弈建模为表格型窃听者与检测器间的交替最佳响应,测试Q-Learning、SARSA等三种学习规则。结果显示,直至200轮博弈,可利用性波动未衰减,双方动态未达固定点。 结果指出,单一轮次的学习检测器无法通过认证,需打破信息结构而非单纯提升适应性来关闭安全漏洞。
论文提出结合想象策略改进与直接校准的世界模型强化学习框架,通过交互感知潜空间模型支持模拟,利用离策略校正与重放更新监督评价器与执行器,平衡自动驾驶车辆(AV)进度与人类驾驶车辆(HDV)交互负担。 在无人信号灯交叉口模拟实验中,该框架实现了100%成功率和跟随HDV加速度变异性分别较PIWM和DreamerV3降低65.5%及44.0%,消融实验证实价值校准降低HDV负担,策略校准提升通行效率。
CertiSum 实现 MXFP4 训练在并行布局与 GPU 厂商间的位级一致性,通过统计认证与精确重算解决非确定性问题。 在 Qwen3-8B 实验中,CertiSum 在 AMD MI350X 与 NVIDIA GB200 上保持训练状态位级一致,跨数据、张量、上下文并行变更无损。
研究提出可微精确学习框架,结合无限外部环境、状态跟踪神经控制器与策略轨迹观测(PTO)。 引入不同有限状态换能器(DFSTs),支持对数并行训练,在算术与通用模拟任务上实现极端长度泛化。 证明Softmax DFST取argmax可精确执行图灵机模拟与二进制算术,代码与权重已公开。
该研究提出因果先验数据拟合网络(PFN)的联合学习方法,旨在解决真实世界中无法同时学习事实与反事实结果的问题。 通过联合学习获取事实与反事实结果的联合分布,结合跨单元最优传输估计平均处理效应密度,是首个同时提供响应、个体处理效应及平均处理效应三种密度的因果 PFN 方法。 在点估计和不确定性量化方面,联合训练模型在多数设置中显著优于基线模型。