集中 vs. 弥散注意力头失效对自回归多步推理的影响:基于 Qwen3-8B 与 LLaMA 3.1-8B 的 GSM8K 实证分析
在 GSM8K 基准测试中,集中式注意力头失效比同等预算的弥散式随机失效显著降低自回归 LLM 的多步推理准确率。
在 GSM8K 基准测试中,集中式注意力头失效比同等预算的弥散式随机失效显著降低自回归 LLM 的多步推理准确率。
BARS 提出一种顺序采样规则,在未知分布下通过预算约束实现多数识别,支持早期终止或拒绝。 该规则包含认证模式与实用模式,实用模式在 GSM8K 上比固定 8 次采样少 22.3% 样本,代价是拒绝 18.8% 的问题。 在 MATH 基准上,BARS 实用模式将准确率提升至 82.5%,并诚实地拒绝了一半模型无法解决的难题。
该研究向 ARC-AGI-2 主赛道提交了首个完全符号化的基于进化计算的程序合成方案。 方法包含共同进化网格解析器与输出投影器,并引入基于认知心理学的对象感知适应度。 该方案旨在解决传统符号 AI 在 ARC 任务中的泛化难题,并已提交至 ARC Prize 2026。
改进预测表征(IPR)结合动作前缀预测与基于对比多模态学习的观测锚点对齐,在深度控制套件任务中性能优于基线。 IPR-H 配置平均回报比视觉+深度基线高 10.0%,比视觉+位置向量基线高 3.4%;在 Webots 中,无 LiDAR 时 IPR 性能更高,有 LiDAR 时则不然。 该研究被 ACRA 2026 接收,展示了在有限交互数据下利用多模态观测学习表征的优势。
SeqFold 提出一种压缩状态接口,利用学习式多通道融合、通道级时间衰减和 Lookup-Free Quantization (LFQ),将冻结主干网络的多层用户状态导出为紧凑离散编码。 该方法结合任务特定解码器生成嵌入空间,并在大规模专有数据集上验证,每状态表示存储量减少 3,400 倍,同时保留了未压缩模型的大部分下游排序性能。
研究证明两层 Transformer 需 $O(N\log N)$ 规模实现完整 DFS,比单层高效。 对于 $k\geq3$ 的模型,可达范围随深度呈指数增长,前视视野为 $1+2^{k-3}$。 该结果揭示了 Transformer 实现图搜索的机制,证明算法可通过梯度流学习并泛化。
Darmok 成为首个在 55 届 Times Crossword Championship 中完赛所有谜题且快于所有人类选手的自动化系统。决赛用时 6m 52s,领先人类冠军 3m 13s。系统通过跨模型交叉验证、交叉字母解锁及字典查补策略,确保在云 API 卡顿或超时等极端情况下维持近乎零误差。
生成式模型将语言形式误作理解证据,Chain-of-Thought (CoT) 进一步加剧了这一误判,导致用户将任务表现泛化为广泛能力,产生认知顺从。 CoT 常被当作透明解释,但实际强化了 AI 的认知权威感,尤其在医疗等场景中引发对决策权的让渡。
研究证明 AI 智能体监管存在不可能性,有限规则无法完全认证所有安全程序,且 220 万次随机程序仿真验证了这一阻碍主要源于对抗性场景而非典型情况。 该定理表明,依赖有限时间机器可验证证据的禁令规则存在单边失效,任何 n 比特的健全规则都会遗漏约 n 比特的合规程序。
论文提出多阶段相位感知自监督重建框架MSPR-GRE,用于加速高分辨率mGRE MRI并保留解剖细节与复杂回波信息。 在7T AHEAD人体脑部数据(R=4,8,12)及9.4T离体小鼠脑部数据上评估,R=12时第四回波幅度NRMSE为12.09±0.60%,显著优于SSDU的21.55±1.12%。 无需完全采样目标即可提升定量图谱一致性,但泛化性与相位估计精度仍需进一步验证。
NCP(Neural Control Plane)是一个闭环系统,通过观察语言模型执行、合成权重空间干预规则并评估其效果来优化控制策略。它在SmolLM-135M-Instruct实验中验证了框架有效性,其中一个投影将验证token重复率从0.4133降至0.2191,困惑度变化-0.0574%。
针对医学多选题中选项间证据重叠导致区分困难的问题,研究提出一种检索增强的鉴别证据框架。 该方法提取各选项特有的鉴别证据并组织为简洁提示词,在多个数据集和目标 LLM 上均实现了一致的准确率提升。 消融研究证实该框架性能优于直接使用检索证据块或闭源 LLM 生成的通用提示,其增益主要源于对竞争选项推理的有效辅助。
研究指出 LLM 推理失败分类的测量结果高度依赖分类顺序。在 2,316 条记录中,50.1% 的失败含多重类别证据,分类顺序反转导致 12 个模型中 11 个的多数类别改变。
APS-VLA框架通过行动引导与未来感知的视觉Token剪枝提升机器人控制效率。该框架冻结预训练VLA主干,利用轻量级决策影响评估器基于视觉观察、语言指令和本体感受对Token进行评分与硬选择,在部署时移除辅助预测器。
针对13项企业SOP,对比四种Agent架构发现无普适最优解。单Agent是高效默认选择,多Agent或Skill增强架构消耗1.4-4.7倍Token且增加2.6-5.8倍延迟。 高质量Skill使成功率从67.4%提升至73.1%,而针对性重构的多Agent以75.6%显著胜出。实施质量比架构选型更关键。 ```
研究通过干预实验测试模型幻觉的结构起源,发现注意力机制比状态空间混合器更易传播输入中的缺陷。 在410M参数以上模型中,注意力模型重复植入错误陈述的频率显著高于匹配的状态空间模型(2.8B模型:650 vs. 566次,p=2.5e-20),而后者仍能识别植入的新事实。 该发现支持了“混合组件决定上下文缺陷是否转为输出错误”的简化结构解释,表明首因错误源于知识缺失而非被抑制的真相。
提出了首个将混合专家模型系统性地转换为标准稠密架构的框架。框架经过评分、选择、分组和知识蒸馏四个步骤,在 Qwen3-30B-A3B 上评测了 350 种配置。
针对多智能体LLM投资决策系统,研究人员提出在线信用分配机制MRC。该机制通过计算所有联盟输出的精确Shapley值来动态调整专业智能体的权重。 在涵盖13种加密资产、1,037个交易日的测试中,MRC实现了1.51的夏普比率(Sharpe ratio)和440.1%的累计收益。
研究证明配备 spike-and-slab 稀疏先验的稀疏贝叶斯 KAN 在近极小极大后验收缩率方面表现优异。 收缩率取决于底层函数的本征各向异性光滑度,通过超先验可自适应未知光滑度并维持该速率。 相比标准多层感知机,KAN 深度可固定,通过宽度、样条网格范围和稀疏性控制逼近复杂度。
该研究在对决型 Bandit 场景下,仅假设存在 Condorcet 优胜者的前提下,提出利用全间隙矩阵 $\Delta_{i,j}$ 的新识别程序,显著提升了实例相关的采样复杂度保证。
通用 VLM 无需大规模 EEG 预训练即可在临床神经诊断任务中表现具有竞争力,且小样本适应能力优于专用基础模型。 VLM 在模型规模化时性能提升显著,而专用模态模型未能展现此特性。 该研究证明了 VLM 具备视觉解读 EEG 信号并辅助临床诊断的潜力。
LeapQuant提出免训练方法,在8位循环状态量化下实现近无损性能。 采用每窗口量化缓解误差积累,保留最高异常值作为高精度补偿令牌,并对剩余残差进行平滑处理。 在Qwen、Kimi和GLM模型系列上,相比FP32基线精度相当,内核级平均加速2.05-3.70倍,端到端推理加速1.47倍。
新论文提出接受率感知损失函数,直接优化预期接受 token 数量,提升 LLM 推测解码速度。 该方法包含贪婪解码的 EAL 损失和采样解码的 WTV 损失,并可结合 GRPO 强化学习。 实验显示该方法在多种场景下优于传统 KL 散度匹配,显著提升接受长度。
提出一种针对电子病历(EHR)基础模型的强化学习微调框架,将临床预测任务建模为时序推理问题。 设计时间感知奖励机制,使小模型在数据受限场景下匹配大模型表现,并增强轨迹的语义一致性。 该研究已被 ML4H 2026 会议接收,验证了 RL 微调在跨任务迁移中的正向效应。
提出 ART 框架优化 Score-Based 扩散采样步长分配,利用连续时间控制替代均匀或手工设计的调度方案。 ART-RL 通过高斯策略将调度学习转化为强化学习问题,证明最优策略均值恢复 ART 时间扭曲率,实现 Actor-Critic 更新。 该方法仅替换时间步网格即可接入现有扩散采样器,在同等预算下提升样本质量,且学习到的调度方案具备跨数据集、求解器及表示空间的泛化能力。
针对主流 RANSAC 变体依赖内点阈值的评分缺陷,提出一种反转推理顺序的新方法:对固定内点划分闭式边缘化尺度后优化划分,该分数仅需一次排序与线性扫描即可最大化。 该方法在信息量充足与匮乏先验下适用,唯一超参为均匀外点分布半宽,对校准偏差远较内点阈值不敏感,且为首个公式中不含内点尺度的似然型 RANSAC 评分。 论文已被 NeurIPS 2026 接收,共 20 页。
研究通过引入“目标对齐”指标量化学习效率,揭示了预测编码(PC)在深层、窄化和预训练网络中比反向传播(BP)更高效。 研究者推导并验证了深度线性网络中目标对齐的解析表达式,确定了 PC 实现最优目标对齐的精确条件。 在非线性模型全训练轨迹实验中,发现 PC 的效率优势在实际应用中依然保持。
混合求解器MC$^2$在匹配精度下比Walk-on-Spheres快218倍,推理时间比扩散方法减少171%。 该方法以低预算蒙特卡洛解为结构化估计,通过单次前向神经网络修正恢复高保真解,并发布了含200万PDE的PDEZoo基准测试。 已被NeurIPS 2026接收,提供了该领域缺失的可复现评估基础设施。
ROPD 采用仅文本反馈实现黑盒 On-Policy Distillation,在 4 个竞赛数学基准上优于 Logit 方法,使用 9.6 倍更少样本达到最佳 AIME24 准确率。
研究提出 GoRL 框架,通过解耦优化与生成来解决在线强化学习中的矛盾。该算法将策略优化限制在可处理的潜空间,利用扩散或流匹配解码器生成动作,确保稳定性与表达力。 实证结果显示,GoRL 在多种连续控制任务中显著优于基线模型。在 HopperStand 任务中,其回报超过 870,是强基线的 3 倍以上。在人体任务中,它比最强非 GoRL 基线高出一个数量级。
研究人员推出OptiMind系统,其20B OptiMind-RL模型在清洗后的三个基准测试中超越开源基线,达到前沿模型性能。 该系统结合数据清洗、类别提示与求解器反馈进行多轮强化学习,并公开了提示库、测试数据及代码于Github和Hugging Face。
三项评估框架在企业分析智能体上的对比研究显示,97%的配置满足稳定性阈值,trace-based框架在72个已知风险用例中取得最佳F1=0.90。 text-only评估虽召回率相同但误报增加5倍,功能测试与红队测试发现的24个新型失败零重叠。 建议采用trace-based评估与对抗性红队测试相结合的双框架策略。
该研究提出社区循环脉冲神经网络(CoRe SNNs),将循环网络划分为固定角色的社区,动作由脉冲活动到达的社区决定。 引入 Map-STDP 学习规则以鼓励动态模块结构,并对比动态、部分及完全模块化三种机制。 在 CartPole、LunarLander 和 Acrobot 任务中,该循环模块化网络性能可匹敌或超越前馈方法,同时提升了生物合理性。
Sable 提出一种单 GPU 证明器,可逐位验证整数量化 Transformer 生成的 token 序列,且中间计算无回绕。 核心验证基于 31-bit KoalaBear 素数约束系统,使用 LogUp-GKR 和 Reed-Solomon 承诺。
提出基于多体系统相位空间表述的量子电路学习新框架,通过归一化流参数化酉门。 N 量子比特态被表示为 $2N$ 维流形上的概率分布,该方法在三种常见电路族上的精度超过当前最先进神经网络方法。 为大规模系统的量子电路仿真提供了新的生成模型路径。
针对连续预训练中标准目标对不同模型效果差异问题,研究团队提出在线策略中训练蒸馏(OPMD)方法。该方法让模型学习自身实际访问的状态,在 MATH-500 和 Minerva 基准测试上改善了 Qwen 模型性能,并优于标准基线方法。
TopoVerus 实现单轮生成结构化反例、修复理由及修复证明,在 7 个 Verus 基准测试(471 个问题)中加权平均 Safe-Pass@1/Safe-Pass@3 达 61.6%/72.2%。
研究评估了 Olmo-3-7B-Instruct 在 SFT、DPO 和 RLVR 后的差异。 RLVR 生成的 CoT 在后续检查点中准确性更高,且对进位声明敏感度更强。
研究证实现代推荐模型具有特征不变缩放性,即不同特征改变下性能变化遵循可预测的缩放定律。 研究人员提出一种利用缩放定律和统计推断的方法,通过小规模实验预测全尺度 A/B 测试效果,在 Wukong、HSTU 及 LLM 推荐模型上验证了该方法在 40 多项变更中能准确区分有益与中性/退步变化,大幅降低计算需求。
ForeSpark 提出保工作量推测(WCS)设计,在 vLLM 上实现原型。 其通过联合分配草稿与验证预算,吞吐量较 DSpark 提升最高 1.77x,较自回归解码提升 2.49x。 该框架在保持延迟 SLO 下,可承受比 DSpark 高 1.51x 的请求速率。