大语言模型强化学习中训练-推理失配的来源与演化
研究揭示大语言模型强化学习中训练与推理失配由引擎数值差异和策略滞后两个来源构成。 引擎的数值差异对训练更新产生近似固定的偏差,可通过在每条前缀处中心化得分函数消除。 策略滞后会形成反馈回路导致训练不稳定,在 Qwen3-1.7B 上重要性加权在有效样本量小于 0.5 时失效;提出的失配-滞后校正(DLC)将 KL 散度控制在两倍独立 on-policy 训练的 KL 之内。
研究揭示大语言模型强化学习中训练与推理失配由引擎数值差异和策略滞后两个来源构成。 引擎的数值差异对训练更新产生近似固定的偏差,可通过在每条前缀处中心化得分函数消除。 策略滞后会形成反馈回路导致训练不稳定,在 Qwen3-1.7B 上重要性加权在有效样本量小于 0.5 时失效;提出的失配-滞后校正(DLC)将 KL 散度控制在两倍独立 on-policy 训练的 KL 之内。
针对大语言模型(LLM)的微调记忆问题,研究发现 LoRA 作为一种参数高效方法,相比全参数微调能显著降低被数据提取攻击的风险。 这一发现颠覆了基于模型规模和数据重复的旧有认知:在 LoRA 微调中,这些通常影响预训练和全量微调记忆强度的因素不再遵循相同趋势。
论文开发 ReuScope 协议,以 Capsule Vision 2024 为案例审计数据重用与评估敏感性。 发现 Kvasir-Capsule 数据集在训练和验证集间存在字节级文件重叠;移除相关训练行使公开验证集平衡准确率从 82.5% 降至 61.2%。 该程序区分了观察到的重用与条件性能敏感性,并明确了结论对应的人群、类别支持及不确定性单位。
BioBERT 和 BioMistral 在 TOP 基准的临床试验结果预测中,四项模型变体的 ROC-AUC(0.613–0.772)与 PR-AUC(0.649–0.901)均优于 HINT,相对 PR-AUC 提升 10–20%。
SWIFT 提出一种基于小世界连通性的稀疏微调框架,利用固定散射置换实现特征组间路由,无需增加可训练参数,打破特征维度信息孤岛。 理论与实验表明,SWIFT 在常识推理、自然语言生成及图像分类任务中平均优于其他参数高效微调(PEFT)基线,部分场景可达或超过全量微调效果。 该工作已被 NeurIPS 2026 接收。
研究基于 722 份联合国安理会记录,通过五项测试评估 4 个 LLM 的国家偏见,并定义明确的无偏参考基线。 测试 GPT-4o-mini、Llama 3.3-70B 等模型发现,中国、俄罗斯呈现反对立场偏差,美英法呈现支持立场偏差。 结果强调需使用基于明确参考点的多测试基准,审计面向国际关系的 LLM 部署。
EvoMCP 提出智能体与数据互进化框架,在 Toolathlon、MCPMark 和 MCP-Atlas 上分别取得 16.5%、10.2% 和 12.6% 的绝对提升。 该方法通过任务进化将能力缺口转化为可执行任务,并利用轨迹进化结合可复用技能恢复失败演示。 闭环机制使新一代任务持续作为后续进化的种子,实现监督微调的迭代优化。
研究人员提出 RECITE 框架,用于自动化发现并实施基于证据的临床试验纳入标准修订。该框架在 5,735 项试验中构建了 11,913 个标注实例数据集。 基准测试中,Gemma 2 9B 和 GPT-4o 在标准化得分上分别达到 0.742 和 0.745。研究通过智能体系统识别出 44 篇论文与试验的匹配证据,表明现有临床知识可转化为可操作的试验设计建议。
研究显示,在后训练阶段,仅通过评分员的分数差异即可实现模型特质的“阈限转移”,学生模型偏好会随评分员偏好改变。 48个设计单元中17个以5%错误发现率确立特质,移除评分员间的奖励差异则转移消失。 该原则可应用于AI安全,通过监测训练前阶段预测并部分预防不良特质的传播风险。
研究表明,基于熵的指标 UID-Conj. 在在线适应和离线训练中能提升小语言模型 Qwen3-1.7B 的自我改进与迁移能力。 在线实验中,UID-Conj. 将宏平均准确率较未修改的 TTRL 提升 2.08 个百分点;离线加权 SFT 中,较均匀加权提升 1.93 个百分点。 辅助偏好能揭示仅答案奖励无法捕捉的等正确轨迹间的训练价值,为下游增益评估提供依据。
论文提出 LanG 2.0,一种通过结构性保障而非模型精度提供安全保证的 Agentic 系统,用于安全运营中心。 该系统将战役关联精度从 18.75% 提升至 51.81%,规则接受度达 98.33%。
Noura 结合 LLM 规划与可执行的个人规范,在基于 NHANES 的评估中表现优异。 该方法将执行过的计划转化为监督信号进行微调,使 Qwen3-14B 的完整计划通过率从 24.0% 提升至 72.5%,规则违规率降低 97.5%。
ProClaim 模型在科学共识主张验证任务中位列前二,显著优于通用智能体框架。 该工具将证据状态存储在模型上下文之外,构建包含 718 个主张的 ProClaim-eval 数据集。 独立训练的判定器在 5 个子集中的 3 个上达到最高标签一致性,优于 Claude Haiku~4.5。
OpenAI 宣布将遵循 robots.txt 共享信号,帮助网站运营者向参与厂商表达 AI 训练偏好。
推荐理由:明确了对接标准与执行逻辑,读者可评估网站合规与参与门槛的变化。
研究人员推出可扩展开源数据集 LibriVAD,基于 LibriSpeech 并融合多种真实与合成噪声源,包含 15 GB、150 GB 和 1.5 TB 三种规格及两种变体。
该研究引入 ScAn-Bench-LLM 和 ScAn-Bench-VLM,旨在填补缺乏系统性评估不同模型类型缩放分析方法的空白。 基准基于 4524 个 LLM 和 8024 个 VLM 检查点构建,首次系统评估了数据获取与外推方法。
HORA 提出了一种无学习的 rollout 分配策略,旨在通过最大化总后验命中效用,解决 GRPO 等基于组策略优化方法中 rollout 分配不均导致的计算效率低下问题。
针对Transformer模型中常见的重尾随机梯度噪声,该研究探讨了两种处理慢速节点的异步通信方案。 通过提出基于延迟感知学习率调度和延迟补偿的算法改进,其收敛保证达到了重尾噪声下的最优速率。 实验表明,该方法在图像和语言任务中优于现有的同步与异步方法,且具有更低的精度/运行时权衡及对超参数更强的鲁棒性。
新优化方法 ZO-Muon 结合子空间投影与谱优化,显著提升零阶优化的收敛速度与效率。 该方法将模型更新视为低秩结构,利用梯度正交化提取谱信息。在 LLM 和 ViT 实验中,ZO-Muon 仅需 MeZO 24.7% 的查询次数即可达到相同 SST-2 性能,并在 CIFAR-100 上使 ViT-L 准确率提升 25.1%。
研究多等级深度学习(MGDL)框架,证明在固定宽度的多等级 ReLU 架构中,残留误差可逐点非增且一致收敛于零。 MGDL 通过冻结已学等级,训练新子网络拟合当前近似残留,构建可解释的层级精化过程,并在 $L^p$ 范数上实现严格衰减。 该工作提供了首个严格构造性近似保证,表明等级残留精化方案能在固定宽度架构中实现误差消失。
该文在**线性回归**框架下研究**验证自训练**,揭示更严格的**验证**并不总能降低**预测风险**,适度**生成噪声**可**降低风险**。 分析通过推导**验证阈值**、**生成噪声**和**预训练误差**四个区间的**有限样本风险界**,量化了**有效样本量**和**协方差**对风险的影响。 扩展至**迭代验证全量微调**,证明足够严格的**验证**可按**几何速率**降低初始误差贡献。
Event2Reward 提出结合绝对与相对进展监督方法,在四个 LIBERO 套件中,通过稀疏奖励训练将平均策略成功率提升 18.16 个百分点。 该方法利用约 100K 条真实机器人记录构建事件注释数据集,无需逐帧绝对进展标签,通过事件内进展关系约束局部变化。 在真实机器人上,30 分钟训练后精确插入任务成功率达 60.0%,物体操作任务达 90.0%,均显著优于基线。
PhysicsNeMo-Mesh是一款运行在GPU上的开源网格处理模块,专为物理AI设计。 它在单块GB200 GPU上的网格操作速度比VTK快6.2至1,068倍,将预处理开销降至训练吞吐量的2.1%。 该模块通过保留语义结构和边界条件,将热传导误差从87%显著降低至6-9%,支持多个模型共享数据集。
研究提出尺度不变学习动力学的有限步统计力学框架,推导曲率输运恒等式。 曲率谱矩决定状态方程的维里系数,位移加权曲率变化提供时间箭头诊断。 结果在CIFAR-10和CIFAR-100卷积网络上验证,量化非理想波动。
针对隐式神经表示在形变医学图像配准中适配速度慢的问题,研究发现使用先前任务学习到的初始化可加速早期适配。 基于 KAN-IDIR 模型,Reptile 元初始化和 STRAINER 迁移方案在 OASIS-1 数据集早期迭代中均优于随机初始化。Reptile 在小迭代预算下数值表现更优,但 STRAINER 预训练仅需 39-40 分钟,远低于 Reptile 的 44.98 小时。
OMatG-FC 模型通过框架条件生成范式预测无机晶体材料,利用离散流匹配与随机插值实现。 该方法固定分数坐标与晶格向量,相比无约束生成大幅降低问题维度,且优于现有原型约束方法。 在 MP-20 数据集和 LeMat-GenBench 基准测试中,该方法取得低于凸包的前沿 S.U.N. 率。
研究指出权重归一化(WN)训练的损失增益主要源于有效学习率(ELR)轨迹而非归一化本身,匹配 ELR 轨迹可使 WN 与常规权重衰减(WD)的训练动力学基本重合。
研究者提出 H$^2$R 框架,利用数学问题的子问题结构作为分层提示,以改善强化学习中可验证奖励对多步推理的中间监督。该框架配套发布了层次化数学问题基准 HiMath。
提出联邦学习框架 Fed-IGTD,通过共享特征空间与本地统计实现隐私保护下的表格转图像编码,避免中心化数据泄露风险。 采用 FedAvg 更新全局模型,引入两种差分隐私机制保护相关性聚合与训练过程;在 5 个数据集上评估显示,映射构建阶段的隐私保护对预测性能影响微小,但中等隐私预算下 DP-FedAvg 显著降低效用。
针对非 IID 数据导致的性能下降,提出聚类联邦学习(CFL)框架。 在 DeepMIMO 和 FEMNIST 数据集上,该方法将准确率分别提升 4.8 pp 和 10.6 pp,并将下行数据量减少 83.1%。 为未来 6G 网络实现了资源高效且高性能的分布式学习。
针对 PPO 在处理长周期、接触密集型任务时因缺乏动作判别力而停滞的问题,论文提出一种条件化动作价值评估器。 该评估器允许在同一状态下对比已执行动作与采样动作,结合广义优势估计(GAE)限制探索噪声,使算法能突破局部极小值。 在同等训练预算下,扩展后的算法成功完成了精确销钉插入任务,而 PPO 失败。
针对多材料、多物理场计算物理任务,评估了作为替代模型的基于计算机视觉的 ML 架构。 研究发现,包括 Transformer 在内的预训练模型在该任务中面临显著适配挑战,稀疏与不平衡学习算法及物理一致性指标至关重要。 该工作为将 ML 仿真器应用于更贴近工业工程的复杂 PDE 基准提供了实施挑战评估。(ICMLA 2026)
Bi-Phase Training (BPT) 是一种参数高效的预训练方法,通过训练低秩适配器并定期合并权重,在 Qwen2.5 和 OLMo-2 模型中实现接近全参数基线的验证困惑度。 在 1.5B 参数规模下,BPT 使用 66% 更少的可训练参数,并在 10B 和 100B tokens 数据集上保持了较高的下游任务表现。
针对高质量训练数据增速落后的问题,新方案通过拟合幂律动态调整超参数并引入模型集成,解决了以往扩展指南在增加计算量后损失可能上升的缺陷。 该方案在 100M 的 FineWeb 数据上进行验证,使验证损失降低超过 0.15 nats,困惑度下降 14%,且计算量最高扩大 12 倍后性能仍保持单调提升。
Clock-Free Event (CFE) 层实现了对事件流切片方式和时间戳连续性的分区不变学习。 CFE 层基于 TM 状态,在 DVS128 Gesture 数据集上比加性状态高 3.5-9.1 分,在 SHD 和 Speech Commands 上分别高 24.5 和 30.6 分。 该模型具备抗时钟鲁棒性,可用于防范 spike-retiming 攻击。
研究提出 MGO-SC 优化器,通过符号一致性门控调整 Adam 风格更新。在 CIFAR-10 和 ResNet-18 上,40% 对称标签噪声下较 AdamW 基线提升 1.4 个百分点。该变体不引入二阶信息,代码与日志已开源。
研究者提出名为 OptiFlow 的框架,用于解决离线强化学习中单步流策略的多模态行为学习难题。该工作已被 NeurIPS 2026 接收,全文共 38 页,相关代码已开源。
研究团队提出基于视觉语言模型的粗到细异常奖励模型 CaC。它通过全局时间扫描锚定异常时间窗口,在局部区间内进行细粒度空间定位,并采用结构化时空思维链推理以得出判断。
研究提出UniDG统一缺陷生成模型及包含30万条数据的UDG数据集,用于异常检测中的视觉缺陷生成。 模型采用MM-DiT注意力融合多模态条件,经两阶段训练后,在合成质量及下游异常检测任务中优于现有少样本基线。
MedGemma-4b-it 使用 LoRA 微调后,在 6 种疾病诊断测试中准确率达 80.37%,超过未微调 GPT-4 的 69.56%。该开源模型在癌症和肺炎等高风险任务中表现出更高灵敏度。研究证实领域微调对减少临床幻觉至关重要。