稀疏自编码器中的数据收益递减:功能行为不保证特征可复现性
研究测试了稀疏自编码器在 5M 至 500M token 预算下的数据需求,发现功能行为收敛所需的远少于特征可复现性。Gemma-2-2B BatchTopK 中严格匹配特征比例从 5M token 的 2% 升至 50M token 的 29%。
研究测试了稀疏自编码器在 5M 至 500M token 预算下的数据需求,发现功能行为收敛所需的远少于特征可复现性。Gemma-2-2B BatchTopK 中严格匹配特征比例从 5M token 的 2% 升至 50M token 的 29%。
KNOU-Flood 基于单层 LSTM 和两阶段训练,在 2099 个测试流域中实现领先期 10 天的 KGE' 中位数为 0.48,优于 AIFL 基线的 0.34。 模型引入 GraphCast 作为第二预测源,采用 424 天输入窗口和潜噪声集成,在 1.5 年和 2 年洪水检测中优于所有基线。 研究证实 AIFL 报告的领先期衰减部分源于输入协议影响,概率头对性能提升贡献最大。
研究指出,RLVR 报告的域外增益中 82% 源于模型将答案移至提取器优先读取的 \boxed{} 格式,而非回答质量提升。 使用自有提取器重新评分 7B SimpleRL 模型对,发现基础模型多在正文陈述答案,RL 训练仅改变其位置。
DMAD 将分布匹配重构为对抗分类,利用共享骨干网络的双判别器直接学习对数密度比,避免了辅助扩散模型拟合的额外内存与计算开销。该方法在 ImageNet-64x64 上以单步生成达到 FID 1.04,在 COCO-10K 上四步 SDXL 生成 FID 为 14.47。在 MiniMax-H3-33B 模型上,其四步学生模型在音视频联合生成的人均偏好率上超越 DMD2 和 rCM。
提出基于交叉注意力引导的补丁对齐方法,利用三重损失目标(PAL、InfoNCE 和 OT)显著提升孟加拉语字幕生成性能。在 Flickr30k-1k 数据集上取得 BLEU-4 12.29 和 METEOR 27.98 的高分。该方法缩小了真实与合成数据的分布差距达 41%,被 PRICAI 2026 接收。
TULIP 提出逐输入识别层的 LLM 定向遗忘方法,超越输出与表征级基线。 利用 logit lens 定位形成-读出边界,并在该层移除隐藏状态与遗忘答案向量对齐;在 TOFU、PISTOL 和 WMDP 上验证有效。 TULIP 可视为即插即用组件,进一步改进现有遗忘方法。
研究提出基于数学教育理论的SHAPE框架,通过启发式分类学表征LLM推理轨迹中的局部数学动作。 该框架揭示RLVR成功解与基座模型剖面高度重叠,并引入HA-Plan-GRPO方法。 实验显示HA-Plan-GRPO在五个评测集上使Avg@16平均提升最高7.0%绝对值。
研究团队发布 Player-1 框架,利用合成经验强化游戏智能体控制。 该框架在 6,044 条游戏轨迹上进行微调,并结合 PPO 算法在 16 个合成环境中训练。 Player-1-9B 在 MineDojo-300 基准上成功率达到 38.33%,显著超过 12.63% 的基线水平。
PAWA 提出了一个支持多玩家动作条件化全景世界建模的数据集与框架,其分布式管线可扩展至 64 名以上同步玩家,无需重放游戏即可重新渲染。 该框架采用双塔模型,通过跨注意力机制在共享世界坐标系下对齐同向观察的 token,并利用二次相位玩家编码提升嵌入维度效率。 实验表明 PAWA 在 POV 预测质量上优于最先进模型,且数据集与采集管线已开源以支持后续研究。
summary_zh: WEDGE框架提出一种弱点引导的导航学习方法,利用预训练智能体的失败模式生成针对性训练环境。 该系统使用LLM从成功与失败轨迹对比中提出可执行弱点特征,经诊断集验证后映射至控制环境因素,并在策略薄弱的难度区间构造环境。
NVIDIA 与 IIT Madras 的 AI4Bharat 实验室联合发布 Nemotron-pretraining-Indic-v1,提供覆盖印度宪法所列 22 种语言的约 2.8 万亿 token 预训练语料,并同步开源 GPU 加速的合成数据生成管线。
推荐理由:2.8万亿token的印度语开源预训练语料与可复用的数据生成管线同步开放,给多语言模型开发者提供了直接可用的训练资源和扩展方法。
阶跃 StepFun 正式开放 Step 5 Preview 模型权重(BF16 与 FP8),配套开源开发工具和技术博客同步上线。
推荐理由:Step 5 Preview以 600B 总参数与 27B 激活、100 万 token 上下文面向长程 Agent 场景,并同步开放 BF16/FP8 权重与开源工具。
论文提出对称性兼容优化器设计原则,使梯度更新规则在权重块对称群下保持等变,弥补 Adam 等优化器忽略对称结构的缺陷。 该原则推导出针对 embedding、LM head、SwiGLU MLP 及 MoE 路由矩阵的专用更新规则,涵盖谱、行范数及混合等变类型。 预实验显示,在 Qwen3-0.6B 等模型上,该优化器比 AdamW 更有效地降低验证损失、缓解专家负载不均衡并提升训练稳定性。
TimeES 框架基于演化谱理论,将非平稳随机过程建模为随机变量调制的演化表示,在确定性与概率预测任务中均达到 SOTA 水平。 该模型利用 Hermitian 对称性和频谱能量稀疏性,将频谱估计复杂度从 O(NM) 降低至 O(NK)(K << M/2)。 代码已开源,论文被 NeurIPS 2026 接收为 Poster。
提出层级主动区域剪枝(HARP)方法,这是一种基于训练的选集器,在保持下游目标对齐的同时降低选择成本。在3个基础模型、3个微调数据集和4个推理基准(共36种设置)中,HARP在23种设置中达到最高准确率,平均准确率为64.2和63.5,高于最强基线NICE的59.3。HARP-C用约比预算基线少9倍的示例、比全量微调少75倍的示例进行训练,在更高平均准确率的同时实现了更小平均训练集规模。
研究者提出快慢学习框架 FST,将模型参数作为慢权重,优化上下文作为快权重。在推理任务中,FST 的样本效率比单纯 RL 快 3 倍,且性能上限更高。 FST 训练的模型与基础模型的 KL 散度降低 70%,减少了灾难性遗忘。
MARS 提出双缩放律框架,通过搜索最优 LoRA 秩对平衡多模态训练动态,消除负干扰以提升 MLLM 微调精度。 该方法复用 LoRA 秩作为模态特定收敛速度的控制器,相比基线方法表现更优,提供自动化优化策略。
PyAGC是一个面向生产环境的归因图聚类基准库,包含12个2.7K至111M节点的多样数据集,首次提供内存高效的mini-batch实现。 它统一了Encode-Cluster-Optimize框架,强制采用无监督结构指标与效率分析,并已在蚂蚁集团的高风险工业流程中验证,资源通过GitHub和PyPI公开。
研究提出长程蒸馏方法,利用 DLESyM 生成超 10000 年模拟气候数据训练模型。 单步预测在 S2S 预报中媲美 ECMWF IFS 集成,首次证实 AI 生成合成数据可提升现实世界预报技能。
研究人员提出 Weighted Adjoint Matching,利用时变权重控制代价微调扩散或流匹配模型。该方法在生成早期施加高成本以保留语义平衡,末期降低成本以细化细节。 实验在 Gaussian mixtures 和 MNIST 上显示,该方法在奖励与模式平衡之间取得了优于 Adjoint Matching 的权衡。
论文提出以仓库为中心学习(RCL),训练 4B 参数小型模型 SWE-Spot-4B,在七个目标代码库上性能优于同等预算的以任务为中心学习(TCL)模型。 该模型性能可比肩或超越 Meta CWM、Qwen3-Coder-30B 等 8 倍参数量的开源模型,以及 GPT-4.1-mini 等商用效率模型,并具备更高的训练与推理效率。
研究者建立了标准 RR-SGD 在常数分量步长 $0<\eta\lesssim 1/(L(1 + \log(nK)))$ 下最后迭代的期望目标差界。 该结果去除了步长限制中显式的 $1/n$ 因子,与平均迭代的收敛速率在对数因子内一致。
该研究提出一种在线分词算法,在保持输出延迟最优(至常数因子内)的同时,实现了近线性时间复杂度。 算法基于 P≠NP 假设确立了条件性下界,表明无法在常数因子内超越该延迟。实测显示,该算法在首 token 延迟上比 tiktoken 快 7.9×–34.8×,吞吐量提升 2.4×–7.0×,且内存占用保持近似恒定。
该研究推出首个现代标准阿拉伯语大规模事实核查数据集 Arafa,包含 181,976 个“陈述–证据”样本,按支持、反驳或信息不足三类标注。 数据由 LLM 驱动流水线生成,自动校验环节对支持类事实的准确率为 86%,人工评估的 Cohen's Kappa 值达到 0.89;开源 Transformer 模型在其上微调后的最高 Macro F1 分数为 77%。
DeepRubric 提出一种数据构建框架,通过构建证据树反向生成查询-评分对,以确保强化学习奖励精准匹配任务需求。 该框架构建 9K 训练样本,采用评分标准引导的 GRPO 训练 DeepRubric-8B,在三个基准上媲美开源 SOTA 模型。 训练过程仅需约 1/13 的强化学习 GPU 小时,显著提升训练效率。
引入基于点互信息分解的自监督表示学习方法作为生成建模 Tokenizer,获得 FID-50K 2.18。 该方法是计算最优改进,在 ImageNet 上比 DINOv2 少 7 倍 FLOPs,GPIC 上比 WebSSL 少 8 倍 FLOPs。 首次分析 Tokenizer 与生成模型结合 FLOP 效率,验证了可扩展性。
HP-RLVR提出一种单轨迹强化学习验证奖励方法,通过 hindsight context 计算归一化 Jensen-Shannon 散度,实现无需参考解的有界 token 级信用分配,克服了 GRPO 在全同结果下信号丢失的问题。
LoopRPT 提出了一种面向循环语言模型(LoopLMs)的强化预训练框架,通过将下一词元预测重构为推理任务,直接利用 EMA 教师参考和噪声隐变量 rollout 对中间步骤分配强化信号。
QuantEval 发布 1,575 个专家验证实例,涵盖知识问答、数学推理及策略编码,通过 CTA 风格回测框架评估 LLM 在量化金融中的计算-实现-验证闭环。 该基准测试了 13 款开源及专有 LLM,结果显示模型在长程推理和受限编码上显著落后于人类专家,且监督微调在提升推理能力的同时削弱了事实回忆。 数据集、评测脚本及完整回测配置已开源,支持 LLM 量化金融研究的复现。
持续在 Twitter/X 低质数据上预训练会导致 4 个 LLM 在推理、长上下文理解及安全性上显著退化,Hedges' g>0.3。 在 M1 指标下,随低质数据比例升至 100%,ARC-Challenge CoT 分数从 72.1 降至 57.2,RULER-CWE 从 83.7 降至 52.3。 结果表明数据具有因果性影响能力衰减,建议对部署中的 LLM 进行常规认知健康检查。
研究表明,浅层 Transformer 在识别无界长度星无关语言时,简单的两步梯度特征学习理论失效。 Transformer 需经历三阶段梯度下降:先更新输出层,再更新注意力层,最后微调输出层;单独训练某一层或单步注意力更新均无法完成语言识别。 该“注意力学习滞后”机制在语言识别、回归及上下文学习等其他任务中同样有益。
SpectrumQuant 提出基于闭式旋转的 LLM 量化方法,通过校准数据估计激活协方差构建协方差感知正交变换。 该方法在 Llama 和 Mistral 模型实验中表现优于 SpinQuant 和 DartQuant 等学习型旋转方法,GPU 内存需求降低至 1/3 以下。
该原型通过LLM自动提取贷款政策规则并验证申请合规性。 在11份含已知例外的真实贷款申请测试中,系统检测出大部分异常,并发现了人工审核遗漏的问题。 结果显示该LLM方案能高亮潜在合规风险,作为人工判断的有价值支持。
研究人员提出FUSE结构感知聚合器,应对拜占庭攻击,在四个基准和七种攻击中性能提升3.9-30.1个百分点。 该方法结合小规模可信数据集,通过系数恢复、一致性筛选和步长控制提升鲁棒性,同时保护高损失客户端影响。
理想化的 Muon 优化器具有谱最大边距隐式偏差,但在实际实现中,使用有限 Newton-Schulz 迭代和正稳定常数会导致其选择 Frobenius 最大边距方向。 研究通过可求和扰动论证证明,这一行为在指数移动平均和 Nesterov 动量下均成立,参数轨迹与梯度下降保持有界距离。 发现 Muon 可通过令 Newton-Schulz 迭代次数随训练对数增长,重新恢复其谱最大边距偏差。
该综述聚焦多模态大语言模型空间推理的后训练方法,重点分析微调所用数据集。研究将现有工作划分为数据集设计、构建与评估三类。 综述归纳了固定空间标注的四种构建方法:规则模板、LLM 提示、程序化生成及人在环路。 文章指出统一动态标注、评估标准化及高效推理是未来关键研究方向。
summary_zh: 提出 LatentLoop 架构,通过压缩首次循环序列并重新分配计算资源以扩展隐藏层大小,在 1.3B-7B 参数范围内验证性能。 该模型共享 MoE 权重但使用独立注意力参数,在 NLL 1.988 时相比基线节省 19.0% 和 7.9% 计算量,并提升多项 benchmark 得分。
MolHop提出跨骨架分子发现框架,将约160万个商用分子骨架组织为层次化动作空间。 通过智能体强化学习开发的MolHop-9B性能超越GPT-5.6-sol等生成基线,能生成骨架差异更大的候选分子。 该框架支持长程搜索,证明结构化化学空间对超越传统优化范式的分子发现至关重要。
VASPO通过结合自教师与Critic对特权信息的评估,在PPO框架中实现了更有效的自蒸馏监督。 该方法在6个数学推理基准测试中,使Qwen3-4B和OLMo3-7B模型的平均准确率分别比PPO提升2.59和1.81个百分点。 作者已开源相关代码。
研究者提出 COUNT 方法,通过存储预计算的 n-gram 计数实现 LM 在主机内存上的扩展,无需额外学习参数。 在固定计算预算下,为 1B 参数 LM 添加 COUNT 作为输入嵌入,其验证损失改善效果相当于增加 57% 算力的 LM。 该方法允许在推理时切换领域语料的 n-gram 计数表,实现无训练的领域适应,且在 GPU 内存受限时优于增加学习嵌入的方法。