Ares:面向大语言模型可验证奖励强化学习的谱驱动自适应秩优化器
提出新优化器 Ares 以提升大语言模型在可验证奖励强化学习(RLVR)中的训练效果。该优化器基于梯度谱结构自适应调整更新秩,将信号限制在低维子空间内。 研究发现 RLVR 诱导了独特的优化几何特征,即梯度能量向有效子空间集中且随训练动态演化,而监督微调不具备此特性。Ares 通过追踪这种演化来优化性能,在多种 LLM 规模和 RLVR 算法上实现了比常用优化器更高的准确率。
提出新优化器 Ares 以提升大语言模型在可验证奖励强化学习(RLVR)中的训练效果。该优化器基于梯度谱结构自适应调整更新秩,将信号限制在低维子空间内。 研究发现 RLVR 诱导了独特的优化几何特征,即梯度能量向有效子空间集中且随训练动态演化,而监督微调不具备此特性。Ares 通过追踪这种演化来优化性能,在多种 LLM 规模和 RLVR 算法上实现了比常用优化器更高的准确率。
提出 World2TS 框架,构建了包含 31 个数据集、4,179 个序列及 97.1M 观察值的大规模基准。 该框架结合智能体语义推理与网络搜索,将 1,159 个事件与序列链接,用于提升预测准确性。
在 Qwen2 模型上,有效相关性支持度(ERS)在评测中取得最佳平均性能排名。 ERS 与正相关性幅度(PRM)产生不同的样本排序,ERS 更适合捕捉相关性分布特征。
论文提出 Terrarium 框架,通过合成可执行 App World 与结果导向评测标准,利用 Qwen3 4B、8B、14B 模型进行强化学习训练。该训练套件包含 275 个 App World 和 13344 个任务,模型在 tau^2-bench 上平均提升 18.34 个百分点,AppWorld bench 提升 10.94 个百分点。
论文分析单遍 Shuffle SGD 在强凸及一般凸目标下的预期最终遗忘上界,揭示单任务数据量、任务相似度与顺序的影响。 在 Split-CIFAR-100 和 PMNIST 上的神经网络实验证实了理论趋势在凸设置外同样适用。
VRSD 通过系统提示词调控教师模型使用特权信息的方式,在 12 个模型任务组合中的 11 个场景下提升了 Pass@1 性能。 平均提升 3.9 个百分点,同时一般性保持更高的 token 熵,避免了对捷径推理的过度依赖。 理论上,该方法将提示建模为减弱特权信息对教师分布的影响,并推导了熵保留的条件。
SEF(自我报告实体熟悉度)作为轻量级门控信号,通过筛选教师模型熟悉的实体,比无门控合成产生更高的搜索需求和学生模型准确率。 结合 Kimi-K3 判断筛选出的 5,411 条轨迹及 2,200 条新轨迹,将 Qwen3.8-27B 在 BrowseComp 子集上的准确率从 44.10% 提升至 66.41%。
Lushi-1840是一款9.83亿参数的古汉语模型,基于1840年前的12,262本书训练。 该模型对1840年后事件相比1820年前的惊喜度比值为1.38,显著高于现代模型的1.00,验证了知识截止效果。
新框架 RAD 将蒸馏信号权重与学生更新后的预测奖励效应对齐,克服了标准蒸馏忽视奖励改善信号的问题。 该框架通过临时优化器步对每个 token 的监督效果评分,在同等训练预算下将 Qwen3-1.7B 在六个竞赛数学基准上的平均准确率提升 6.5 个百分点。
提出 PGSB 框架,通过识别任务间共享方向并结合预训练权重重新参数化,提升 LoRA 模型合并效果。 PGSB 采用两阶段方法,先找出任务特异性 LoRA 更新中的共享方向,再计算其与预训练权重的相互作用以生成更优合并基。 实验表明 PGSB 在多个基准测试中持续优于现有最先进方法,代码已公开。
研究指出,主流激活函数产生的非零均值偏差会加速初期损失下降,但伴随过冲和不平滑轨迹;降低该偏差虽减缓初期学习,却最终带来更低的损失值。 在较大的视觉和语言模型实验中,较小的激活偏差与更好的后期性能相关联,表明这一特性值得在激活函数设计中明确考虑。
研究发现,仅通过 next-token prediction 即可在 Pythia 和 OLMo 2 模型(70M 至 7B 参数)中激发基于潜在分类学的属性归纳行为。
十四款决策模型与四十七款生成式LLM在立陶宛心理学调查中表现平庸,最佳生成模型 MiniMax M3 相似度得分仅为 0.813。 该得分低于其他受访者的 Copula 拟合基准,且十五个决策模型中十三个表现劣于 gpt-5.4-mini,生成式模型在复现项目相关性上更具优势。
研究团队发布 CESNET-TimeSeries26 数据集,包含 CESNET3 网络近 4.5 年连续流量时序,用于长期预测模型评估。 数据集涵盖 278,466 个 IP 地址、285 个机构及 566 个子网,提供 995 天连续数据及单个子网长周期记录。 该数据集确立纵向基准,证明预测模型仅当训练窗口覆盖完整年度周期时,才能利用年度季节性特征。
LLM 剪枝后指令跟随能力最先崩溃,远早于知识、推理或核心语言建模能力。该过程主要表现为对提示词响应的域无关性失败,而非单纯的知识丢失。 领域内数据是最强的剪枝信号,而指令风格数据在恢复阶段效果最佳。该研究为组合 LLM 剪枝与恢复提供了具体的实践方案。
Apertus 1.5 扩展了完全开源的 Apertus 系列,新增图像和音频理解能力,实现多模态推理。 基于 Apertus 1.0 继续预训练,8B 模型追加 4T tokens,70B 模型追加 2T tokens;上下文窗口扩展四倍至 262,144 tokens,架构保持不变。
提出多时间尺度分层世界-动作模型MHWA,通过跨步高层上下文通道和动态路由降低自回归预测漂移。 该模型拥有77M参数,在14款Atari子集上取得0.884 HNS,较JOWA-70M基线显著提升。 使用10%离线数据,比JOWA-150M减少70.88%训练FLOPs,实现参数与效率的平衡。
Nemotron-3-Nano-30B-A3B 支持 8 种印度语言,词表从 131,072 扩至 163,072,词内 token 数降低 38.6%。 经 1.27 万亿 tokens 持续预训练后,Indic MILU 基准提升 12.9 分,但英语 MMLU 下降 3.4 分。 该研究展示了在不改变主干架构下扩展多语言能力的技术路径。
ULPack 提出利用参考权重的指数预测位移比特长度的无损压缩方法,降低模型训练检查点的存储成本。 在 bfloat16、float16 和 float32 轨迹上,ULPack 相比 ZipNN 减少 27% 存储空间,较 zstd-19 减少 21%,较 FM-Delta 减少 11.5%。 随着更新量缩小且参考条件增强,压缩效率提升,但低位近均匀比特限制了进一步压缩空间。
PEARL 提出一种无需额外 critic 模型的过程经验感知强化学习方法,通过定位轨迹分歧并聚类决策特征改进本地信用分配。 在 AppWorld 基准上,PEARL 在 4B 和 8B 规模下均优于 ARPO 方法。 在 ALFWorld 基准上,4B 规模模型平均成功率达 97.9%,比最强基线高出 2.7 个百分点。
研究提出 PLDiv 度量指标,基于持久性景观量化数据集几何表示的结构组织,无需任务特定监督。 PLDiv 将数据邻域随样本连接演化的过程总结为可解释标量,有效检测指令数据集和推理轨迹中的语义坍缩。 该指标在合成数据监控、数据集构建及生成模型评估中支持多样性分析与语义覆盖扩展。
PsyMemBehav 模型通过 41 维描述符与 BM25 记忆,实现身份到行动推理。其 27B 版本在 11/12 项指标中排名第一,响应质量从 54.28 提升至 59.68。 该模型基于 5,862 名真实用户共 5.57M 行为记录构建,采用 DPO 优化。在组级别模拟中,MAE 低至 0.081,验证了证据驱动用户建模的有效性。
Mixture-then-Select 算法在 LLM 微调数据选择中比强基线高出 20% 至 54%。 该算法首先确定各域采样数量,再按归因得分排序,理论最优差距与选择规模成线性关系。 研究指出跨域分配采样数量是提升 LLM 数据选择效率的有效路径。
UltraBERT 成为首个在分类和检索任务上均达到 SOTA 的双向编码器,GLUE 得分 91.0,BEIR 得分 47.7。 研究发现编码器性能在数万亿 token 后饱和,且不同掩码比率对分类和检索的收益相反。UltraBERT 通过分离低/高掩码比率的 LM head 并限制蒸馏目标优化模型,为双向模型设计提供了原则基础。
OPMD 提出一种在策略机制蒸馏方法,通过在策略轨迹中内化与学生学习兼容的中间状态,解决教师与学生表示几何差异问题。 该方法在三种师生配置下均达到最高平均准确率,支持多教师蒸馏及跨家族微调,有效改进推理能力并改变中间计算策略。
Vela 框架利用 10 万用户的真实行为数据生成训练轨迹,微调 Qwen3.6-35B-A3B 后相关任务性能提升 11.5 分。 该框架处理约 7.5 万条筛选后的任务,通用基准提升 4 分,且结合强化学习可进一步优于基线 7.7 分。 研究证实真实用户行为是扩展 LLM 用户中心能力与整体智能的可扩展监督源。
针对 GRPO 在同组失败时学习信号缺失的问题,提出 VH-GPO 实现经验证的教师-学生交接。 使用 Qwen2.5-1.5B 时,VH-GPO 将 ALFWorld 成功率从 59.38% 提升至 94.79%,WebShop 从 71.62% 提升至 77.34%。 教师恢复支持仅占额外 token 的 1.77% 和 2.61%,验证了该机制在强化学生独立完成任务能力上的有效性。
SPLICE 工作流将验证与修复移出训练循环,通过离线生成修复后的轨迹数据进行微调。 模型仅基于参考解答,在推理生成时验证进度、截断失败轨迹并拼接增强提示词。 在 AIME 及经人类评分验证的奥赛证明任务上,该模型性能优于蒸馏未编辑轨迹的同源模型。
提出 GameSmith 框架,利用 LLM 合成 26 款新游戏及 336 个验证变体,解决零和博弈训练数据瓶颈。 基于 Qwen3-32B 教师模型蒸馏及 CRAB 优势估计器训练,Qwen3-4B-Base 在 13 项基准测试的平均 pass@1 从 45.5 提升至 64.9。
研究推导了文本、视觉和音频三种模态的数据混合缩放定律,揭示了前沿 MLLM 预训练中的数据配比规律。 基于 457M 至 8.3B 参数的 MoE 架构进行了 268 项实验,使用最多 150 亿 token 训练数据。发现音频模态偏向模型规模扩展,视觉模态对音频干扰显著。 该研究为训练前沿多模态大语言模型提供了理解数据混合原理的基础。
ClawLoop 框架无需外部教师模型,通过任务合成、SFT/RL 训练及诊断反馈三阶段循环实现 Agent 自我改进。 使用 Qwen3.6-27B 作为循环模型,ClawLoop 在 SkillsBench 等基准测试中取得一致提升,优化任务可迁移至 Qwen3.5 小模型。 验证了训练数据质量独立于循环模型,打破了对强外部模型依赖的限制。
研究发现,Qwen3 系列混合推理模型在 NO-THINK 模式下进行 GRPO 强化学习时,性能提升主要源于“思维泄露”,即部分重新激活了原模型 THINK 模式的推理能力,而非学习了新的增强行为。
Agentic Data Engineering (ADE) 框架让智能体通过实验反馈迭代优化 LLM 数据工程策略。在数学与代码数据选择等四项任务中,所选策略在 AIME25 Pass@32 上比通用基线最高提升 13.34%,四个留出基准平均提升 5.85%。 实验显示迭代内的 in-loop 分数随实验递增,但留出集泛化性能并非总是同步提升,结合证据分析与累积研究发现的效果更优。
埃隆·马斯克在X平台批评内存制造商漫天要价,称美光保持合理定价是赢得客户长期忠诚度的明智之举。 马斯克此前已宣布Tesla AI5芯片LPDDR5从144GB降至96GB,AI6芯片LPDDR6从216GB降至144GB,容量均减少1/3。
SimulacraBench 在 NeurIPS 2026 竞赛赛道上线,利用 UNHCR、UNICEF 和 World Bank 约 40,000 名受访者的非公开微观数据,评估 LLM 作为人类行为模拟体的预测能力。
Meta CEO 扎克伯格透露,公司在不确定 AI 产品能否成功时,仍承诺投入 1,000 亿至 2,000 亿美元建设基础设施,当时对结果完全没有把握。 为在与 Alphabet、OpenAI 及 Anthropic 抗衡中维持优势,Meta 在 AI 数据中心建设上投入位居行业前列。Meta 定于 10 月 21 日公布业绩,上周自由现金流降至多年低位,股价下跌 8%。
Dyna Robotics 联合创始人兼首席科学家 Jason Ma 在 Latent Space 播客中解读了 Dyna-2 世界动作模型及其配套的半人形机器人系统。
OpenAI 决定暂不公开发布 GPT2 模型,原因是其生成逼真文本的能力引发了对恶意滥用的担忧。该模型规模比前代大 12 倍,基于约 1000 万篇 Reddit 文章训练,能根据输入片段生成风格和内容连贯的小说或新闻段落。由于潜在安全风险,OpenAI 打破惯例,未像以往那样立即向公众释放全部研究成果。
美国科技公司为加速前沿模型训练,正支付高额溢价自建“离网”发电设施。当前已约有2吉瓦离网电力投入数据中心运行,另有90吉瓦相关项目处于规划阶段。 企业选择自建离网电力主要因电网接入需排队4至7年,而自建可大幅缩短工期。
summary_zh: