跳到正文
10月30日周五
  1. arXiv · AI27

    HIVE 框架:通过在线验证提示词选择实现大型推理模型的高效 RL 训练

    HIVE 提出一种双阶段提示词选择框架,利用历史轨迹粗筛与提示词熵实时剪枝,在数学推理任务中显著提升 RL 训练效率。 该方法基于“学习边缘”假设,动态剔除低效用样本,解决了 GRPO 等算法中因大量无效提示词导致的计算开销问题。 实验表明 HIVE 在保持性能的同时实现了显著的 rollout 效率提升,该成果已被 NeurIPS 2026 接收。

  2. arXiv · AI50

    Leela Chess Zero 神经网络中习得先验覆盖前瞻算法行为

    在最强神经网络国际象棋引擎 Leela Chess Zero 中,研究发现“被遗忘的谜题”现象:正确解(包括即时杀棋)在中层被识别,但在最终输出中被系统性覆盖。 日志透镜分析显示前瞻算法运作正常,但后期层偏向安全而非激进。通过对抗性引导模型,恢复了 71.7% 的被遗忘谜题,证明安全先验因果性地覆盖了算法解。 结果表明算法结构不保证算法行为,模型内部求解问题仍可能输出错误答案。

  3. arXiv · AI33

    大语言模型在上下文更新中的失效机制分析

    研究发现大语言模型在上下文变化时会出现“陈旧绑定”失效,即错误地使用旧值而非当前状态。 研究引入基准 CICM,并在 Qwen 和 Pythia 模型中定位出由注意力偏移导致的机制,即模型倾向于关注旧值。 通过无需训练的注意力重定向干预,该方法在保留初始正确回答的同时,纠正了多种模型家族中大部分旧值错误。

  4. arXiv · AI20

    面向 Roblox 游戏搜索的多组件查询理解搜索感知强化学习

    提出基于蒸馏-强化学习范式的搜索感知 RL 框架,整合意图分类、属性提取和查询重写子任务至单一模型。 框架执行 QU 计划时依据各组件下游角色定制奖励,NDCG@20 较 SFT 策略提升 8.9 分,较单一端到端奖励高 3.5 分。 训练出的低延迟学生模型优于更大教师模型,已逐步部署至生产环境。

  5. arXiv · AI27

    安全强化学习评估指标:SafeRLEval 开源套件与分层安全体系

    针对安全强化学习(Safe RL)现有基准仅关注平均安全性的不足,提出涵盖违规频率、严重性及收敛策略行为的新评估指标,并定义了用于系统比较算法可靠性的安全分层体系。 该框架在多个安全导航任务中通过实证评估,证明聚合指标、分布报告及特定任务结果需联合使用,避免将信息压缩为单一数值。 该研究发布了开源评估套件 SafeRLEval,旨在支持未来安全强化学习研究中对安全性的可靠表征。

  6. arXiv · AI24

    LLM 推荐的知识确证:真值缺失时的依赖基础

    研究人员提出“知识确证”概念及依赖证书,利用四层行为证据评估 LLM 推荐的支持范围。 依赖证书在变换效度、已知群组测试及人类共识方面表现符合理论预期,且结论跨模型稳健。 该方法为真值缺失时评估 LLM 推荐提供了可操作化的依据。

  7. arXiv · AI23

    LLM 驱动且感知数据手册的早期嵌入式系统硬件兼容性自动验证

    提出一种基于 LLM 和硬件数据手册的早期兼容性验证框架,在 34 份数据手册上实现 97.5% 准确率。 该框架通过构建设计图并生成确定性脚本,将输入上下文体积减少 8.6 倍,避免依赖 LLM 进行数值计算。 模块化任务分解与正式化验证标准提升了透明度,证明了基于规范验证的可行性。

  8. arXiv · AI30

    INFRAMIND:基础设施感知的多智能体编排

    论文提出 INFRAMIND,一种根据服务负载动态调整多智能体推理工作流的层次化策略。 在 500 道 MATH 题且截止时间为 10-300 秒的场景中,INFRAMIND 将按时正确率从 20.4% 提升至 33.8%;使用 15 个模型时,该比例从 11.6% 升至 54.8%。 结果证实了将推理决策适应整个工作流的服务容量的重要性。

  9. arXiv · AI38

    RoSeViT:用于 ARC 视觉推理的角色分离视觉 Transformer

    RoSeViT 通过解耦高层指令推断与视觉工作区计算,在标准 ARC 协议下优于密集 ViT 基线。 该模型采用控制器 token 聚合变换信息,工作区 token 表示网格,非局部交互经控制器路由。 整合进完整系统后,RoSeViT-Ensemble 将 ARC-1 性能从 60.4 提升至 62.6,代码与检查点已开源。

  10. arXiv · AI36

    Neural Thickets 新解:无权重扰动下的输出多样性机制

    研究提出 Perturb-Select-Vote (PSV) 框架,证明无需修改预训练语言模型的权重,仅通过添加随机偏置即可在推理任务上匹配或超越全权重扰动效果。 PSV 通过在验证集筛选并投票聚合生成预测,将 Neural Thickets 假设与采样及自一致性等推理时方法联系起来。 该方法提供简单且免训练的替代方案,在视觉领域显著提升了性能。

  11. arXiv · AI26

    视觉基础模型中的空间状态表征研究

    基于冻结特征探针,一项研究发现视觉基础模型中可见场景的强解读数,并不能确保物体持久性或未来特征检索的准确性。 在静态室内环境的流式自我中心观察研究中,四项能力分析显示物体持久性和可操作性依赖于相机位姿的解读数,而特征预测依赖于可见场景的解读数。 这项研究强调,评估空间表征不仅要看可解码的信息,还要看该信息是否能在观察后保持并用于目标导向行为。

  12. arXiv · AI21

    SCARL: 序列置信度对齐强化学习

    SCARL通过重塑而非改变优势符号,解决RLVR中置信度与奖励脱节问题。 该方法引入单一超参数,在Qwen3-4B-Base上Pass@32比DAPO提升2.4分,且能在16种设置中的14种改善表现,同时保留策略熵。 代码已公开。

  13. arXiv · AI28

    How to Loop Your Transformer: 循环扩展、专业化与并行推理研究

    研究循环 Transformer 在参数预算、训练 FLOPs 和推理效率下的权衡。基于 1B 参数模型和 32 次循环实验,发现全模型循环在参数约束下质量最强,中间层循环在 FLOPs 约束下收益更好。 引入低秩适配器提升深层循环质量,并提出并行循环 Transformer 以解决解码减速问题,需通过特定嵌入保留策略恢复性能。

  14. arXiv · AI45

    VLM 3D 推理失效分析:BedBench 揭示的局限

    研究发现视觉语言模型在 3D 推理中难以一致利用物体属性,新基准 BedBench 显示其在按颜色计数任务上准确率仅 7.2%,而人类达到 93.3%。 针对微调模型 3.0% 至 68.6% 的准确率提升仍伴随内部不一致,探测 Qwen3.5-27B 表明精确计数可恢复但极少被采纳。 文章建议评估 3D 推理需关注精确正确性、一致使用性及图像依赖性,代码和数据集已公开。

  15. arXiv · AI31

    ClosedLoopGaussian 如何帮助 GRPO?针对 Countdown 的分析

    ClosedLoopGaussian 是一种轻量级自适应课程方法,用于提升顺序推理任务中 GRPO 的强化微调效率。 该方法通过周期性探测各难度准确率的反馈机制,动态调整采样节奏与范围,避免训练偏离当前模型能力。 在符号算术推理任务 Countdown 上,该方法使 GRPO 的精确匹配准确率提升,且在中等难度区间增益最强,代码已公开。

  16. arXiv · AI38

    GFlowNet 训练新思路:Negative Reinforce Dynamics (NRD) 算法

    提出 Negative Reinforce Dynamics (NRD) 方法,将双玩家博弈转化为单策略动态,通过扩展探索提升 GFlowNet 训练性能。 该方法无需训练独立教师策略或辅助探索策略,在标准基准测试中,其收敛速度和探索效率均优于现有方法。 NRD 揭示了全梯度与 min-min 动态的联系,为优化采样分布提供了新的理论依据。

  17. arXiv · AI27

    稀疏 MoE 模型上投机解码为何优于预测

    研究发现细粒度稀疏 MoE 模型在低批处理大小下实现更高加速比,打破了先前预测的中间批处理峰值趋势。该现象源于 MoE 层运行时占比远低于权重占比,且路由重叠减少了验证时激活的唯一专家数量。利用最大熵 IPF 框架建模后,误差小于 4%,显著缩小了与真实模型曲线的差距。

  18. arXiv · AI25

    GUIDER 通过潜在决策流奖励提升临床指南推理

    GUIDER 方法联合优化决策流控制器与推理策略,解决临床推理中的路径-答案差距及路径多重性问题。 在 MedGUIDE 基准上,基于 Qwen3-14B 的 GUIDER 达到 82.5 加权准确率与 73.5 指南遵循度,优于最强临床强化学习基线 3.3 和 3.1 分。 该方法在 AMEGA-LLM、RealMedQA 等域外基准上,也超越了 CRPO、MRPO 及 FaithMed。

  19. arXiv · AI24

    隐式期望对数密度比估计

    该论文提出期望对数密度比(ELDR)概念,指出隐式密度密度比估计(DRE)在有限样本下存在根本局限。 基于此,文章证明常规 DRE 方法不适用,并提出一种修改 DRE 的方法,通过使积分分布样本进入训练数据来降低误差,基准测试表明其效果提升。

  20. arXiv · AI27

    ADLER:基于泄露账本的 Web API LLM 隐私上下文解码协议

    研究者提出 ADLER 解码协议,确保云端 LLM API 的消息仅依赖公开视图和用户可见答案,杜绝私有内容泄露。 在 GSM8K 数学题测试中,使用无限泄露预算的 ADLER 将 0.5B 和 1.5B 客户端模型的精确匹配准确率分别提升至 0.83 和 0.85,接近上传完整问题的 0.92。 该协议通过客户端泄露账本限制答案揭示程度,在 16 nats 预算内保持了接近仅云端基线的精度。

  21. arXiv · AI23

    LLM 与统计选择模型结合实现非结构化数据可解释特征发现

    该研究提出利用 LLM 进行成对比较并构建统计选择模型,以从非结构化数据中自动发现可解释且决策相关的特征。 方法将 LLM 生成的解释视为数据,用于识别关键特征并估计得分;在模拟招聘数据中,该方法在特征恢复方面显著优于直接 LLM 提取,在 ChangeMyView 辩论数据集中达到了与既定基线相当的预测准确率。 通过分解这些可解释特征,还可审计 LLM 决策,揭示其奖励的具体因素。