跳到正文
11月10日周二
  1. arXiv · ML25

    P2O与PKTO:统一框架实现稳定且无奖励的对齐优化

    研究者提出P2O与PKTO算法,统一了DPO隐式奖励与PPO信任域稳定性。P2O在DPO偏好边缘引入截断重要性比率,PKTO则结合前景理论效用边缘,均无需奖励模型。 两个算法在多LLM的三个偏好基准上,对齐质量匹配或超越DPO与KTO,且在重复数据集复用时稳定性更好。代码库已开源。

  2. arXiv · AI23

    无真实值条件下的互补性?

    该研究探讨无真实值标签场景下的人机互补性评估方法,提出以基于多准则决策分析的背景依赖性“适当性标签”替代真实值,并通过两步评分流程显式呈现规范选择。 方法受计算可靠性启发,识别支撑适当性标签构建的技术、科学与社会因素。 此举将人机互补性的实证研究拓展至预测任务之外,使其在真实值不适用时也能进行量化评估。

  3. arXiv · AI23

    推理模型推理实践:来自评估与部署的经验教训

    推理配置显著影响模型表现与成本。实验显示仅更改最大响应长度,使数学基准准确率从0.08%升至93.18%。 内容涵盖评估、生成、服务及结构化输出。提供了记录推理运行、容量估算与系统公平比较的实践指南。 旨在帮助研究人员和工程师理解、复现并信任推理结果。

  4. arXiv · ML31

    AbductionBench: 评测大语言模型溯因推理能力的统一基准

    AbductionBench 提出统一框架,在 27 个数据集和 10 个领域上评测 8 个大语言模型。 该基准将最终答案评估与可观察推理痕迹分析分离,涵盖证据使用、假设比较及不确定性处理。 Jev 模型在短证据解释选择上表现良好,但在长案例及假设修正方面显著落后,凸显了多视角评估的价值。

  5. arXiv · ML26

    Transformer 非平衡动力学的几何理论

    论文构建了基于统计物理的变分几何理论,描述 Transformer 注意力机制与 token 表示在固定参数下的联合演化。 该理论引入了注意力的自由能,并将其演化建模为 Fisher-Rao 梯度流。证明了在固定 token 表示下,softmax 矩阵是唯一的自由能极小值点,且任何正向注意力轨迹均收敛于该点。 进一步证明了注意力流的适定性,并建立了三个耦合系统的能量耗散规律。

  6. arXiv · AI25

    WARP-JEPA:冻结层级JEPA架构的摊销规划方法

    WARP-JEPA通过冻结世界模型和摊销规划,在30个H-JEPA模型上将长时程任务推理速度提升9.6至18.8倍,任务成功率提高33.3个百分点。 该框架采用世界模型在环因果Transformer和多残差MLP,结合基于模型的代价与最佳K行为克隆训练,无需测试时梯度优化。 结果表明摊销规划可在不重训练世界模型的情况下,显著提升推理效率与控制性能,代码已开源。

  7. arXiv · AI28

    Look Ahead:具身 AI 中基于搜索的推理

    在 PushT 环境中,Beam search 使冻结 ACT 策略的任务成功率从 0% 提升至 18%,平均累计奖励从 39.44 增至 103.2。 提出 One Step Ahead (OSA) 门控机制,在保持或提升成功率的同时,较全量 Beam search 将运行时间缩短约 3 倍。 消融实验表明增加搜索预算并不一致地改善性能,未来工作将扩展至语言条件 VLA 模型及物理机器人。

  8. arXiv · ML45

    Detent 实现 LLM 服务与 RL 滚动的批次不变性

    Detent 将内核选择表述为可执行程序,在 Llama-3.1-70B 和 Qwen3-30B-A3B 的多 GPU 部署中实现批次不变推理,输出 token 延迟仅为标准模式的 1.04-1.17 倍。 该方案在 SGLang 中匹配确定性模式 GSM8K 准确率,覆盖多种引擎、GPU 代际及 MoE 模型,支持 RL 滚动比特级复现。

  9. arXiv · AI30

    LLM 智能体中的价值-策略解离:表征存在但未用于行动选择

    在 Qwen2.5-7B/32B 与 GPT-OSS-20B 测试中,研究发现候选行动的相对价值可从中间隐藏状态线性解码,即使策略选择了较差行动。 沿读出方向干预效果有限且不一致,而基于自然价值传输(NVT)的变换在后期层更一致地影响行动偏好。 结果揭示 LLM 智能体可能表征了前瞻价值却无法可靠转化为策略选择,并验证了闭环控制器可改善任务结果。

  10. arXiv · ML21

    确定性扩散生成中的通用结构

    确定性扩散采样轨迹存在一种与数据模态及扩散模型实现无关的通用几何结构。 该结构可通过基于最优线性去噪器的精确可解模型加以解释。 此发现为以原理化方式推进扩散模型的训练与推理奠定了基础。

  11. arXiv · AI29

    D-REAL:通过无偏梯度优化投机解码的接受长度

    D-REAL 提出一种后训练方法,直接优化固定解码上下文下的期望接受长度,旨在提升投机解码效率。 在 Qwen3-8B 目标模型的 10 个基准测试中,D-REAL 将平均接受长度提升至多 0.23 tokens。 该方法使端到端服务吞吐量提升最多 9.4%,并在 DSpark 和 DFlash2 架构上验证有效。

  12. arXiv · ML27

    用于稳定长程智能体推理的过程奖励解耦即插即用验证器框架

    提出即插即用验证器框架以稳定长程智能体推理。该框架通过解耦过程验证,利用领域特定验证器评估中间推理工件,并生成有界过程奖励。 在 Qwen3.5-4B 模型上结合稀疏结果奖励进行两阶段后训练。在 HotpotQA 基准测试中准确率超过标准 GRPO 基线。 结果表明该模块方法能学习更稳定可靠的长程推理行为。

  13. arXiv · ML38

    线性状态空间模型与自回归训练中的隐式偏差研究

    研究揭示了线性状态空间模型(SSM)和线性自回归模型在共享参数下的隐式偏差机制。在指数损失梯度下降下,方向收敛至有效度最大间隔问题的 KKT 点,仅有效度最小的样本构成硬边界约束。 该结果指出长度偏差成因:更长的输入序列或额外自回归步骤会提高样本的有效度,导致最小有效度样本主导极限分类器,且非齐次性改变了经典齐次隐式偏差结论。

  14. arXiv · AI49

    递归自我改进(RSI)是否安全?

    当前前沿AI在编程、数学及长时程任务上的能力使递归自我改进(RSI)从概念走向可行。 文章指出缺乏评估RSI结果的清晰框架,并对多方参与下的博弈选择进行了快速分析。 RSI引发业界对安全性及启动条件的广泛关注。

  15. arXiv · AI29

    PISA 与 PISA-E:提示词自适应且成本感知的大语言模型集成路由方法

    PISA-E 在四个 LLM 路由基准测试中,以最高宏平均任务性能表现优于最强集成竞争对手,ID 条件下领先 2.09 个百分点,OOD 条件下领先 2.87 个百分点。 该方法通过联合选择集成组合与基数,在无需重训练的情况下动态调整成本与质量偏好,显著降低推理开销。 在部分低成本运行点,PISA-E 相比最强竞争对手,平均推理成本降低约 36% 和 25%。

  16. arXiv · ML23

    CoMixKV:面向 LLM 多智能体系统的协同混合精度 KV Cache 量化框架

    CoMixKV 提出协同混合精度 KV Cache 量化方案,通过在线敏感度估计与联合位宽分配,在共享内存预算下优化 LLM 多智能体系统的内存瓶颈。该框架无需校准数据或额外模型推理路径,利用局部注意力误差界计算敏感度,动态调整新量化块的位宽。在 Qwen3-32B 上实现 1.38x 推理加速,峰值内存降低 32.08%,显著优于全精度 KV Cache 基线。

  17. arXiv · NLP43

    类型化边张量非互易端口哈密顿式推理(TE-BPHD)在反事实开放世界演绎推理中的应用

    TE-BPHD 架构通过结合偏对称端口哈密顿守恒与非互易定向传输,消除深度推理中的漂移悬崖,将深度 10 的循环推理准确率提升至 90.0%(±0.8%),超越 Transformer 基线。该架构证明在无外部范数投影下实现无条件输入状态稳定性与指数收缩,并支持零重训练的自适应 Lyapunov 停止机制。平均求解器评估次数减少 44%,且对准确率损失影响极小。

  18. arXiv · NLP40

    LLMs 作为自适应元求解器:面向工业级优化的策略多样化强化学习

    提出策略多样化强化学习(SDRL)框架,训练开源 LLM 解决工业级优化问题。 该框架通过正确性门控的层级多样性奖励防止策略坍缩,支持自包含文本与文件基实例混合训练。 在工业级优化任务上,SDRL 的平均性能优于 DeepSeek-V4-Pro 和 GPT-5.5,代码与数据已开源。

  19. arXiv · NLP25

    PoEM:利用现有策略预测强化学习结果

    PoEM框架提出无需重新训练即可预测新奖励函数下的RL策略结果,利用已有策略在log-probability空间的低秩子空间特性进行线性组合近似。 该算法仅需基于奖励或基策略在样本上的输出估计组合权重,在开放式生成、数学推理、工具调用及图像生成任务中验证了预测有效性与计算效率优势。

  20. arXiv · NLP47

    大型推理模型“生产-评估”差距研究:揭示答案确认偏差

    大型推理模型(LRMs)在评估推理时表现远差于生成,前沿模型在VAIR数据集上得分低至52%,而生成解题接近满分。 链式推理分析显示模型存在答案确认偏差,倾向于验证答案而非逐步核查,即使发现异常也编造合理化理由。 线性探针与因果修补证实答案有效性是偏差因果因素,揭示了当前推理训练范式的显著局限。

  21. arXiv · NLP28

    代码RL中权重外推下的正确性与效率行为控制

    研究发现,在代码RL中通过权重空间外推可同时放大或抑制不期望行为,揭示了正确性与效率的边界。 实验在32B和7B模型规模下进行,涵盖纯推理、工具使用及代理编码场景。 该方法为利用松散奖励及权重差异向量来抑制奖励作弊行为提供了简单干预方案。

  22. arXiv · NLP29

    CRANE:通过零空间编辑向代码智能体注入受约束推理

    研究提出CRANE方法,一种无需训练的参数编辑技术,通过合并Instruct与Thinking模型检查点优化代码智能体性能。该方法在Roo-Eval上使Qwen3-30B-A3B的pass1达到66.2%(提升19.5%),在SWE-bench Verified上每类规模额外解决14个实例。CRANE在三大基准上均优于替代合并策略,保持Instruct级效率的同时增强推理与工具使用能力。