SIF 强化学习方法:结合比较奖励构建与选择性策略更新以提升推理
SIF 方法结合比较奖励构建与选择性策略更新,在 12 个数学与科学推理基准上,最终检查点平均准确率比 Intuitor 最优验证检查点高 4.71 个百分点(基于 Qwen2.5-Math-1.5B)。
SIF 方法结合比较奖励构建与选择性策略更新,在 12 个数学与科学推理基准上,最终检查点平均准确率比 Intuitor 最优验证检查点高 4.71 个百分点(基于 Qwen2.5-Math-1.5B)。
针对数据剪枝的理论研究证明,在高样本极限下,保留最难的 2N 个样本是最优策略。 该策略将分类测试误差衰减速率从传统 ERM 的 sqrt(N/P) 加速至 N/P 的 Bayes 最优量级。
研究者提出 RaRE 策略,通过软 Likert 奖励和分歧掩码优化 Rubrics as Rewards 训练。 在 Qwen3-4B-Base 上,RaRE 在 HealthBench 和 GPQA Diamond 上均优于单一判官变体,继承各判官互补优势。 该研究确立了判官集成作为提升 RaR 性能的关键方向。
论文提出 CleanRM 方法,旨在解决 RLHF 中偏好数据普遍存在的反馈噪声导致的奖励模型偏差问题。 利用少量清洁反馈通过最优传输校准样本级噪声比率,并训练去噪修正的替代损失目标。 实验证明 CleanRM 优于最新基准方法,能带来更有效的下游 RLHF 对齐效果。
该论文提出一种结合熵加权采样与答案混合的递归离线蒸馏方法,用于将 70-72B 大模型的推理链蒸馏至 3-4B 小模型。 实验显示,在相同比数预算下,该方法平均性能达 57.15±1.01,显著优于朴素蒸馏的 51.61,且学习曲线更陡峭。
提出首个专为 LLM 微调设计的模型异质联邦学习框架 Optimal Hydra,通过全局层选择与客户端注意力头选择生成 Hydra-nets。该框架利用客户端数据分布定制子网络结构,在三类数据集实验中优于基线方法并降低本地资源消耗。
开放世界AI需具备推理时学习能力,以应对未知任务并处理非iid数据。 研究在高达8B的语言模型上验证,满足这三项要求的模型能利用相关任务数据提升性能。
研究测试了稀疏自编码器在 5M 至 500M token 预算下的数据需求,发现功能行为收敛所需的远少于特征可复现性。Gemma-2-2B BatchTopK 中严格匹配特征比例从 5M token 的 2% 升至 50M token 的 29%。
KNOU-Flood 基于单层 LSTM 和两阶段训练,在 2099 个测试流域中实现领先期 10 天的 KGE' 中位数为 0.48,优于 AIFL 基线的 0.34。 模型引入 GraphCast 作为第二预测源,采用 424 天输入窗口和潜噪声集成,在 1.5 年和 2 年洪水检测中优于所有基线。 研究证实 AIFL 报告的领先期衰减部分源于输入协议影响,概率头对性能提升贡献最大。
研究指出,RLVR 报告的域外增益中 82% 源于模型将答案移至提取器优先读取的 \boxed{} 格式,而非回答质量提升。 使用自有提取器重新评分 7B SimpleRL 模型对,发现基础模型多在正文陈述答案,RL 训练仅改变其位置。
whosellsdata.com发布了包含161家AI训练数据和强化学习环境供应商的无排名目录,支持按数据源和业务领域筛选对比。该目录详细列出了包括AfterQuery、Centific、Mercor在内的多家供应商提供的训练数据集、评估基准、RL环境及仿真服务,部分条目还附带有融资额度和最后核实日期。
DMAD 将分布匹配重构为对抗分类,利用共享骨干网络的双判别器直接学习对数密度比,避免了辅助扩散模型拟合的额外内存与计算开销。该方法在 ImageNet-64x64 上以单步生成达到 FID 1.04,在 COCO-10K 上四步 SDXL 生成 FID 为 14.47。在 MiniMax-H3-33B 模型上,其四步学生模型在音视频联合生成的人均偏好率上超越 DMD2 和 rCM。
提出基于交叉注意力引导的补丁对齐方法,利用三重损失目标(PAL、InfoNCE 和 OT)显著提升孟加拉语字幕生成性能。在 Flickr30k-1k 数据集上取得 BLEU-4 12.29 和 METEOR 27.98 的高分。该方法缩小了真实与合成数据的分布差距达 41%,被 PRICAI 2026 接收。
TULIP 提出逐输入识别层的 LLM 定向遗忘方法,超越输出与表征级基线。 利用 logit lens 定位形成-读出边界,并在该层移除隐藏状态与遗忘答案向量对齐;在 TOFU、PISTOL 和 WMDP 上验证有效。 TULIP 可视为即插即用组件,进一步改进现有遗忘方法。
研究提出基于数学教育理论的SHAPE框架,通过启发式分类学表征LLM推理轨迹中的局部数学动作。 该框架揭示RLVR成功解与基座模型剖面高度重叠,并引入HA-Plan-GRPO方法。 实验显示HA-Plan-GRPO在五个评测集上使Avg@16平均提升最高7.0%绝对值。
研究团队发布 Player-1 框架,利用合成经验强化游戏智能体控制。 该框架在 6,044 条游戏轨迹上进行微调,并结合 PPO 算法在 16 个合成环境中训练。 Player-1-9B 在 MineDojo-300 基准上成功率达到 38.33%,显著超过 12.63% 的基线水平。
PAWA 提出了一个支持多玩家动作条件化全景世界建模的数据集与框架,其分布式管线可扩展至 64 名以上同步玩家,无需重放游戏即可重新渲染。 该框架采用双塔模型,通过跨注意力机制在共享世界坐标系下对齐同向观察的 token,并利用二次相位玩家编码提升嵌入维度效率。 实验表明 PAWA 在 POV 预测质量上优于最先进模型,且数据集与采集管线已开源以支持后续研究。
summary_zh: WEDGE框架提出一种弱点引导的导航学习方法,利用预训练智能体的失败模式生成针对性训练环境。 该系统使用LLM从成功与失败轨迹对比中提出可执行弱点特征,经诊断集验证后映射至控制环境因素,并在策略薄弱的难度区间构造环境。
NVIDIA 与 IIT Madras 的 AI4Bharat 实验室联合发布 Nemotron-pretraining-Indic-v1,提供覆盖印度宪法所列 22 种语言的约 2.8 万亿 token 预训练语料,并同步开源 GPU 加速的合成数据生成管线。
推荐理由:2.8万亿token的印度语开源预训练语料与可复用的数据生成管线同步开放,给多语言模型开发者提供了直接可用的训练资源和扩展方法。
作者在对 Qwen 7B 进行微调的实验中,仅保留 DeepSeek 未毁灭世界(未投掷最终核弹)的对局数据,但发现 DeepSeek 在这些对局中仍有 40/60 局下令发射核弹,只是未成功。微调后的模型在 10 局测试中赢了 4 局并毁灭了世界 4 次,表明按结果筛选数据会使模型继承危险的中间方法。作者计划移除所有下令核弹的回合数据以进一步验证。
Reddit推出基于LLM的AI审核工具,允许志愿者用自然语言定义规则,由模型判断内容是否违规。同时,平台限制第三方应用访问公开API,转向专有开发者平台,并限制旧版Reddit界面仅对登录用户开放。
慕尼黑工业大学团队提出 Tadpole,采用自编码器重构预训练 3D PDE 基础模型,预训练累计使用约 202 TB 在线生成数据。 该模型通过局部裁剪适应不同变量与分辨率,结合 Tadpole-DFT 实现动力学预测,并将应用扩展至非结构网格,后续工作已被 NeurIPS 2026 接收。
作者发布 Mr. Chatterbox 模型家族,包含 345M、500M、1.2B 及 2.7B 四个基础模型,均基于 Llama 框架并采用 Chinchilla 最优参数训练。 最大模型 2.7B 的 97.2% 微调数据源自19世纪时期文本,在 AICHR Chronologic 基准测试中性能超越更大模型。 开源项目附带完整训练代码及 SFT 数据集,供研究人员进行复古语言模型实验。
arXiv 宣布自 10 月 1 日起对每位研究人员实施每月 2 篇的投稿限额,以应对主要受 AI 工具生成垃圾稿件驱动而导致的提交量激增。文章指出 9 月上传量达 40,000 篇,并采访了多位学者,包括支持该限额的流行病学家和认为限额容易被合著者轮流投稿规避的物理学家,同时指出 AI 垃圾稿件问题无法仅靠拒稿解决。
随着 Claude Code 等智能体编程工具成为 AI“杀手级应用”,Anthropic 和 OpenAI 收入激增,但超大规模云厂商为维持支出转向大规模借贷。 目前除 Microsoft 外,多数超大规模云厂商自由现金流已转负或预计年底转负,AI 基建支出占 GDP 比例已超 19 世纪铁路泡沫。 若 AI 收入增长放缓,这些厂商可能因无法偿还债务而陷入违约,引发类似 1873 年的经济崩盘。
OpenAI 英国公司账目显示,2025 年 110 名员工共获得 8700 万英镑薪资和 1.68 亿英镑股票,人均薪酬约 231.8 万英镑,为英国全职工资中位数的 58 倍。 最高薪酬包分配给参与 Astra 等模型研发的研究人员。 这一数据反映了 Meta 等公司抛出数亿英镑薪酬包引发的 2025 年人才争夺战,推高了伦敦 AI 行业薪资水平。
中国9月集成电路出口额同比增长136%至450亿美元,出口总额增速远超前三季度108%的增幅。在出口数量仅增长1%的背景下,AI需求引发的内存芯片短缺推高价格,解释了出口额增长的绝大部分。
CoreWeave 的 2032 年债券收益率已升至近 15%,价格跌入困境区间,其股价当日最多下跌 17% 至 64.41 美元,信用违约掉期同步飙升。今年以来 CoreWeave 新发债务超 300 亿美元,截至 6 月末存量债务逾 500 亿美元。
阶跃 StepFun 正式开放 Step 5 Preview 模型权重(BF16 与 FP8),配套开源开发工具和技术博客同步上线。
推荐理由:Step 5 Preview以 600B 总参数与 27B 激活、100 万 token 上下文面向长程 Agent 场景,并同步开放 BF16/FP8 权重与开源工具。
模型质量是普涨的红利,无法作为护城河。核心在于拥有基础模型无法重构的专有数据,如带标签结果与集成工作流。 若产品未将用户反馈转化为信号,竞争优势将随模型迭代衰减。应建立捕获循环,将推荐结果存为训练数据,形成可复利积累的资产。
长鑫科技宣布 4F² DRAM 架构研发关键进展,预计年底推出新一代 DDR5 RDIMM 产品,引发韩国股市熔断,三星电子跌 7.39%,SK 海力士跌 10.09%。
论文提出对称性兼容优化器设计原则,使梯度更新规则在权重块对称群下保持等变,弥补 Adam 等优化器忽略对称结构的缺陷。 该原则推导出针对 embedding、LM head、SwiGLU MLP 及 MoE 路由矩阵的专用更新规则,涵盖谱、行范数及混合等变类型。 预实验显示,在 Qwen3-0.6B 等模型上,该优化器比 AdamW 更有效地降低验证损失、缓解专家负载不均衡并提升训练稳定性。
TimeES 框架基于演化谱理论,将非平稳随机过程建模为随机变量调制的演化表示,在确定性与概率预测任务中均达到 SOTA 水平。 该模型利用 Hermitian 对称性和频谱能量稀疏性,将频谱估计复杂度从 O(NM) 降低至 O(NK)(K << M/2)。 代码已开源,论文被 NeurIPS 2026 接收为 Poster。
提出层级主动区域剪枝(HARP)方法,这是一种基于训练的选集器,在保持下游目标对齐的同时降低选择成本。在3个基础模型、3个微调数据集和4个推理基准(共36种设置)中,HARP在23种设置中达到最高准确率,平均准确率为64.2和63.5,高于最强基线NICE的59.3。HARP-C用约比预算基线少9倍的示例、比全量微调少75倍的示例进行训练,在更高平均准确率的同时实现了更小平均训练集规模。
研究者提出快慢学习框架 FST,将模型参数作为慢权重,优化上下文作为快权重。在推理任务中,FST 的样本效率比单纯 RL 快 3 倍,且性能上限更高。 FST 训练的模型与基础模型的 KL 散度降低 70%,减少了灾难性遗忘。
MARS 提出双缩放律框架,通过搜索最优 LoRA 秩对平衡多模态训练动态,消除负干扰以提升 MLLM 微调精度。 该方法复用 LoRA 秩作为模态特定收敛速度的控制器,相比基线方法表现更优,提供自动化优化策略。
PyAGC是一个面向生产环境的归因图聚类基准库,包含12个2.7K至111M节点的多样数据集,首次提供内存高效的mini-batch实现。 它统一了Encode-Cluster-Optimize框架,强制采用无监督结构指标与效率分析,并已在蚂蚁集团的高风险工业流程中验证,资源通过GitHub和PyPI公开。
研究提出长程蒸馏方法,利用 DLESyM 生成超 10000 年模拟气候数据训练模型。 单步预测在 S2S 预报中媲美 ECMWF IFS 集成,首次证实 AI 生成合成数据可提升现实世界预报技能。
研究人员提出 Weighted Adjoint Matching,利用时变权重控制代价微调扩散或流匹配模型。该方法在生成早期施加高成本以保留语义平衡,末期降低成本以细化细节。 实验在 Gaussian mixtures 和 MNIST 上显示,该方法在奖励与模式平衡之间取得了优于 Adjoint Matching 的权衡。
论文提出以仓库为中心学习(RCL),训练 4B 参数小型模型 SWE-Spot-4B,在七个目标代码库上性能优于同等预算的以任务为中心学习(TCL)模型。 该模型性能可比肩或超越 Meta CWM、Qwen3-Coder-30B 等 8 倍参数量的开源模型,以及 GPT-4.1-mini 等商用效率模型,并具备更高的训练与推理效率。