Negative-Only Policy Optimization (NOPO) 用于单边可验证奖励强化学习
NOPO 通过抑制可信的验证负例更新策略,解决单边可验证性(OSV)下标准 RLVR 不可靠的问题。 该方法结合参考相对负抑制损失和组级适配器,将验证正例视为未标记数据,避免奖励捷径。 在代码、逻辑和数学基准上,当 oracle 奖励不可用时,NOPO 提升了 pass@k 表现。
NOPO 通过抑制可信的验证负例更新策略,解决单边可验证性(OSV)下标准 RLVR 不可靠的问题。 该方法结合参考相对负抑制损失和组级适配器,将验证正例视为未标记数据,避免奖励捷径。 在代码、逻辑和数学基准上,当 oracle 奖励不可用时,NOPO 提升了 pass@k 表现。
研究者提出知识蒸馏的数学模型,证明蒸馏通过使优化轨迹更易优化来提升性能,而非获得更优模型。 在泛化线性模型和秩-1矩阵近似任务中,使用随机梯度下降训练时,蒸馏训练的学生模型均比非蒸馏模型更快地拟合或收敛。 该理论明确了蒸馏在优化速度而非泛化能力上的优势,实验结果也印证了这些理论预测。
该研究提出引入反馈延迟的技术,在表型 AMDP 中实现了 $\tilde{O}(\text{poly}(H)\sqrt{SAK})$ 遗憾,解决了长期未决问题。 在线性 AMDP 中,首次获得关于 $K$ 最优的 $\tilde{O}(\text{poly}(d,H)\sqrt{K})$ 遗憾,并扩展至延迟 AMDP 设定。
研究发现,在医疗多选问答中,Qwen2.5-7B和Jais模型的原始概率存在过度自信,单一温度参数可消除82%至93%的期望校准误差。 两个模型在4种设置下精度分别为0.561/0.430(Qwen)和0.369/0.308(Jais);保形预测达到90%覆盖率时,选项集平均包含63%至89%的选项。
针对语言模型生成过程中的失败检测,研究提出PREWARN评估协议,用于衡量监控器在特定token起始点发出预警的能力。该协议在三个开源语言模型的重复退化案例中,将监控器阈值校准至特定错误率,并评分警报相对于故障起始点的时间。
针对联邦学习中类集中非独立同分布(non-IID)数据导致特定类别失效的问题,提出 Class-Competence Aggregation(CCA)方法。 该方法利用客户端验证 F1 分数作为输出层聚合权重,在 CIC-DDoS2019 数据集上,将 LDAP 类别 F1 从 0% 提升至 84.83%,整体宏观 F1 达 91.64%,显著缩小了与中心化模型的差距。
自回归语言模型序列级监督学习存在根本性缺陷,两种自然尝试导致损失函数无下界。 通过自回归 Gumbel 技巧,基于采样的损失是 Gumbel 扰动下贪婪损失的期望。尽管停止梯度推导的矩匹配方向是有效下降方向,但其高方差使得教师强制可能仍是最佳选择。
提出DeltaTSF框架,通过联合学习时间序列及其离散导数实现时序一致性,无需显式导数计算且推理无额外开销。 该框架为模型无关设计,在多基准测试中一致提升预测性能,生成比SOTA方法更具动态一致性的结果。
研究者提出双曲潜变量模型RHFF-LVM,基于随机Helgason-Fourier特征,无需数值积分或变分界即可拟合双曲高斯过程。 模型在合成树结构上恢复了更忠实的度量,平均排名最佳,且在$Q\!=\!2$时表现显著提升。 RHFF-LVM在505秒内拟合$5\times10^{5}$个点,成为首个达到此规模的非参数双曲LVM。
提出ACERL方法,在固定Agentic Context Engineering框架内通过强化学习共优化工具生成、反思与剧本策划行为,利用环境信息交接经验。 ACERL评估交接产物的下游影响,在智能体基准测试中取得优于基线方法的保留集表现。 结果表明智能体训练应优化未来推理所继承的模型生成经验。
研究指出,攻击者可低至 20 美元成本通过有害 Agentic RL 服务 API 颠覆大语言模型(如 Inkling)的安全对齐,利用退化模型进行真实世界有害活动。
MutAtlas 构建了覆盖 PDB 的突变增强数据集,整合物理能量模型、蛋白质语言模型及逆折叠模型的突变信号。通过无监督多源突变偏好蒸馏框架,模型在 ProteinGym 基准测试中超越了零样本基线及简单多源融合策略。该工作已接受 ICML 2026 会议录用,并公开了数据集与评估流程。
提出 DR-Diff 框架,通过函数梯度法构建伪目标,高效微调预训练条件扩散模型以解决训练数据中的虚假相关性。 该框架具备伪双重稳健性,能抵御密度比估计误差和基础模型误设;实验显示其在合成数据集上达到从头训练的噪声预测精度,并缓解分类任务中的组间差异。
针对 TPU 上小模型强化学习协同开销高的问题,本文提出本地协同 JAX (LoCoJAX)。 在 Qwen3-0.6B 上,LoCoJAX 的共置模式比 Pathways 基线快 1.3-3.6 倍,8 芯片速度超越 64 芯片基线。 非共置模式仅在 rollout 占主导且获得多数主机时,才通过并行计算抵消分片开销。
该研究通过解决计算代数问题,评估 AI 智能体发现并利用特定结构以降低计算成本的有效性。智能体可扩大固定预算内可求解系统范围,但推理开销有时大于节省;利用持久记忆可减少重复求解成本,但可能保留次优策略。编译生成快速可复用求解器需承担大量前期成本。计算代数为提升智能体结构和复用能力提供了具体可测目标。
新范式 KVPath 通过将各层 KV 表示连接成路径,仅缓存第一层全维度基础 KV 及后续层的低维增量,在匹配参数量下将 GQA 的 KV 缓存存储减少最多 68%,MLA 减少 55%。 该方法包含两种变体:KVPath-Residual 通过残差加法更新向量值,KVPath-Rolling 以滚动方式逐步更新特征维度,均在维持或提升模型性能的同时显著降低存储开销。
针对现实场景中示范者技能水平未知且数据质量混杂的模仿学习痛点,论文提出 LEOS-IL 框架。该框架从含噪离线数据中联合学习状态-动作最优性评分模型与每个示范者的潜在技能水平。 评分模型被整合进在线策略优化流程,利用智能体在线 rollout 迭代细化评分以缓解分布偏移。连续控制基准实验表明,该方法在异构低质量示范环境下持续优于现有基线。
Fit-LRP 框架提出在由多面体并集表示的非凸域上执行精确仿射界优化,显著提升了分支定界算法的搜索树剪枝效率。 该方法在 ARCH-COMP 与神经 Lyapunov 基准测试中,将最难区域的分支次数降低 47 倍,最坏验证时间减少 15 倍,并在单 CPU 上以 6.1 倍速度超越 GPU 版 $\alpha,\!
summary_zh: 针对各机构持有私有证据但拒绝共享的场景,该机制将发布规则编译为小型 ReLU 网络,通过类型化搜索和证据门控生成拥有编辑。在 30 条记录每方的合成数据测试中,该方法达到 96.6% 准确率,非劣于所有七个调优基准。
针对 MoE 模型的 CPU-GPU 专家传输瓶颈,提出了一种在不改变路由决策前提下的“未来最远驱逐”策略。 该策略在 OLMoE-1B-7B 模型及 L40S GPU 上实测显示,较 LRU 缓存减少 2.1 倍专家拷贝次数且无质量损失,需未来请求信息以发挥最大效用。
论文提出一种基于期望覆盖概率的可微分损失函数,仅需样本即可校准条件生成模型,无需密度估计或架构修改。 该方法被证明是严格散度,当且仅当模型等于真实后验时消失;在高维成像逆问题中,其校准性能优于评分规则正则化器,点估计重构质量变化不大。
可验证奖励强化学习中,模型倾向诚实的临界条件为 $\tilde{p}r/b > 1+\kappa$。训练初期 $\kappa$ 较大导致模型短暂趋向虚张声势,随后回升;超过收益上限时模型会将正确程序误判为有缺陷。
ORBIT 是一个包含选择题、开放题和故障排查三种格式并附带参考答案来源的 IT 运维基准。审计发现约 1/10 生成题目存在模板缺陷,被剔除后故障排查格式基于真实从业者线程重建。5 个 LLM 在独立评审下多数选择题答对,开放题答对率介于 1/3 到 50%+,故障排查题正确率较低;ORBIT 旨在辅助选择和监督助手而非部署测试。
提出 SpaceMCP 框架,利用前馈 3D 重建与开放词汇分割实时构建场景图,通过 MCP 风格的结构化函数调用增强 VLM 的空间推理能力。 无需训练即在 VSI-Bench、MMSI-Bench 和 VSTI-Bench 上取得 SOTA 结果,较基础 VLM 提升 15-22 分。 该范式为克服原生 VLM 空间推理进展缓慢提供了有前景的路径。
LGPO 方法通过似然门控消除旧策略似然计算,证实移除重要性采样项不损害训练稳定性,移除信任区机制则导致崩溃。 相比重算旧策略似然的 GRPO,LGPO 平均减少约 18% 训练时间,且在 GRPO 失效的全在线策略训练中保持稳定。 该工作被 NeurIPS 2026 接收,支持更高效、稳健的 LLM 强化学习后训练。
TabOmics 是参数为 7.3M 的开源表格基础模型家族,v2.5 版本在 46 个分类任务中取得 0.943 平均 AUROC。 该模型使用 8 个集成成员,在 32 个任务上以约 30 倍更少的参数优于 TabPFN-3.5;单成员平均 AUROC 达 0.941。 代码、模型权重及实验产物均已公开。
论文提出 CastWorld,一个用于上下文感知时间序列预测的 Agentic 基准。数据集涵盖 8 个领域和 25 个真实数据集,提供 49 个核心工具。 评估体系包含模型级和系统级两个层面。实验显示,允许证据获取可提升所有三个评估模型的预测得分。
提出 PhysXAI 框架以检测气象基础模型中违反物理定律的“物理幻觉”。 该框架采用多分支编码器提取守恒、动力学及光谱残差,结合物理一致性对比学习优化诊断准确性。 在 ERA5、WeatherBench 2 和 MERRA-2 数据集上评估,使用 GraphCast、Pangu-Weather 和 NeuralGCM 的预报结果。
提出 Mask-Pattern Position Augmentation(MPPA)技术,实现扩散 LLM 免训练长上下文外推。 在 LLaDA-8B-Instruct 模型上,MPPA 将 8192 长度下的困惑度从 19.51 降至 3.12,实现 100% passkey 检索。 该技术通过累计掩码密度偏移恢复旋转位置相位分辨率,为扩散原生的长上下文生成提供新路径。
研究团队推出单一编码器基础模型 CARMEN,在 227 万模态小时的十种循环呼吸波形上无监督预训练,覆盖动脉、静脉及呼吸机等信号。 模型支持 10 秒至 5 分钟的任意共记录信号组合,引入 LSCNorm 机制恢复绝对信号水平,使术中低血压检测 AUROC 从 0.780 回升至 0.894。 在 19 项任务中,冻结编码器在 12 项上优于监督模型,并在多数对比中匹敌或超越专用信号基础模型。
EASTAR框架通过事件锚定将城市人流分解为语义通道,并借助任务自适应提示路由利用LLM先验优化下游任务,在真实数据集上实现MAE最高降低39.15%。 该方法引入自由通道捕捉潜在模式、全局通道保留空间结构,经消融与可解释性分析验证了事件锚定及路由机制的有效性。
Poison-then-Hide 攻击在预训练编码器中植入休眠后门,全模型微调时激活,六数据集上攻击成功率达 97%。 方法包含触发器优化、编码器投毒及目标遗忘 concealment;联合学习良性任务对攻击成功至关重要。 标准检测与缓解防御无法彻底移除后门,良性微调后攻击可复现。
研究提出名为 STTC-EFRL 的强化学习框架,解决网联自动驾驶车辆在高动态环境下的安全轨迹跟踪难题。该框架将问题重构为 epigraph 形式的 min-max 优化,通过调节标量改善梯度方向,避免拉格朗日法中梯度幅值放大导致的训练不稳定。
研究者提出图标签对齐诊断,通过结构标签对齐(SLA)和特征标签对齐(FLA)两个轻量探针,无需训练图编码器即可衡量标签可访问性。 在真实图分类基准上,SLA-FLA 平面能强力组织测试准确率,低对齐数据集构成了标准池化流水线难以应对的困难区域。 通过异质自我图和合成 Twins 任务的受控压力测试表明,高对齐解释了简单基准的高性能,而低对齐揭示了需要超越标准表示的结构-特征对应关系的机制。
KernelMosaic 发布了一个配对多样化 CUDA 任务与验证方案的开放数据集及智能体框架,旨在通过监督学习提升 LLM 生成高效 CUDA 内核的能力。 在 KernelBench L1、L2 和 L3 测试中,监督微调将正确率分别提升至 88%、82% 和 16%,并增加了生成速度快于 PyTorch eager 的内核比例。
本文指出当前对抗机器学习过度聚焦于寻找 $\ell_p$ 范数下的小 epsilon 球,这种范式将防御者引向狭窄的数学鲁棒性优化,导致系统性安全被忽视。 研究认为该范式不仅无法降低风险,反而通过传递虚假安全感,激励攻击者利用未覆盖的对抗路径,进而加剧实际危害。 这是一篇发表于 NeurIPS 2026 的观点论文,主张在生成式 AI 时代应放弃对单一小扰动球的执念。
研究对语音转SFT流水线进行因子消融,验证各阶段边际价值。 基于2x2设计生成韩医金融QA数据,微调9个LLM(2.4B-70B)。四项LLM评判显示质量提升,但MCQA增益不显著。正向迁移集中于匹配模型-领域对。 6名专家确认全流程质量更高。Whisper-medium替换验证鲁棒性。开源代码及检查点。
团队发布开源决策模型 Drex 家族,Max 版在 Decision Index 0.4.1 上以 67.52 分创决策模型新高。 涵盖 8B 至 27B 参数规模,结合 RLAF 与视觉微调;Max 版单请求响应仅 183ms,远快于 GPT-6 Sol。 四款模型均开源,输出在选项重排下保持稳定,显著降低生产环境延迟与成本。
提出BALTO框架以缓解LLM幻觉,通过平衡的令牌级信用分配机制重分配概率质量,避免虚假惩罚。 BALTO将可核查事实声明映射为令牌级标签,并在ConFiQA、RAGTruth和FinLLM-Eval上取得最高忠实度。 该方法在Q-Score上优于现有基线,代码已开源。
针对连续提示词搜索中高维难题,提出无投影进化策略方法,在 GLUE 基准七项任务上显著优于基线。 该方法直接在全维度空间优化,引入校准内在维度的自适应机制,并辅以置信度正则化以提升 few-shot 场景泛化能力。