多模态数据混合缩放定律:268 项 MoE 实验揭示模态间干扰机制
研究推导了文本、视觉和音频三种模态的数据混合缩放定律,揭示了前沿 MLLM 预训练中的数据配比规律。 基于 457M 至 8.3B 参数的 MoE 架构进行了 268 项实验,使用最多 150 亿 token 训练数据。发现音频模态偏向模型规模扩展,视觉模态对音频干扰显著。 该研究为训练前沿多模态大语言模型提供了理解数据混合原理的基础。
研究推导了文本、视觉和音频三种模态的数据混合缩放定律,揭示了前沿 MLLM 预训练中的数据配比规律。 基于 457M 至 8.3B 参数的 MoE 架构进行了 268 项实验,使用最多 150 亿 token 训练数据。发现音频模态偏向模型规模扩展,视觉模态对音频干扰显著。 该研究为训练前沿多模态大语言模型提供了理解数据混合原理的基础。
ClawLoop 框架无需外部教师模型,通过任务合成、SFT/RL 训练及诊断反馈三阶段循环实现 Agent 自我改进。 使用 Qwen3.6-27B 作为循环模型,ClawLoop 在 SkillsBench 等基准测试中取得一致提升,优化任务可迁移至 Qwen3.5 小模型。 验证了训练数据质量独立于循环模型,打破了对强外部模型依赖的限制。
研究发现,Qwen3 系列混合推理模型在 NO-THINK 模式下进行 GRPO 强化学习时,性能提升主要源于“思维泄露”,即部分重新激活了原模型 THINK 模式的推理能力,而非学习了新的增强行为。
Agentic Data Engineering (ADE) 框架让智能体通过实验反馈迭代优化 LLM 数据工程策略。在数学与代码数据选择等四项任务中,所选策略在 AIME25 Pass@32 上比通用基线最高提升 13.34%,四个留出基准平均提升 5.85%。 实验显示迭代内的 in-loop 分数随实验递增,但留出集泛化性能并非总是同步提升,结合证据分析与累积研究发现的效果更优。
VITAL 提出一种视觉-语义双重监督的潜空间推理框架,用于提升医疗 MLLMs 的可解释性。 该框架包含辅助文本解码器与视觉投影器,在推理时零开销丢弃,可事后重新附加以实现双重可解释性;实验基于 7 项基准,性能优于骨干网络、潜空间推理基线及更大数据训练的医疗 MLLMs。 结果达到 SOTA,与万亿参数专有模型具有竞争力。
ITO 框架通过多视角对齐与训练时融合优化图文表示,在 100M-1B 规模上性能超越 CLIP。 框架利用多视角数据增强提供判别增益,轻量融合模块在训练时作为正则化项,推理时丢弃以维持双编码器效率。 融合贡献随数据规模增长而增加,能稳定优化过程并缓解后期过拟合,相关代码已开源。
基于同一 SFT 检查点训练两个 Qwen3-8B 变体,发现多执行框架强化学习在 SWE-bench Verified 上带来有限增益。 Cross 归一化比 Within 平均多提升 0.29 个百分点(0.77 vs 0.48),但未在未见框架中持续优于 Within 规则。 模型在不同执行框架间的表现差异(7.13 个百分点)远大于训练增益或归一化规则差异。
LAPT-Scale 范式利用 2.33 万小时第一人称人类视频,通过连续潜在动作预训练扩展通用机器人策略。 该方法结合 VLA 策略与感知对齐信号,将真机任务成功率从 63.3% 提升至 85.0%,并实现向未见视觉条件的泛化。
研究揭示机器翻译数据中的翻译文体显著影响小型英文语言模型的学习。模型在24种类型多样、资源差异大的源语言翻译数据上训练,一般困惑度主要受翻译语料词汇多样性驱动。 语法表现则与源语言同英语的类型学相似度强相关,前提是训练数据量充足。甚至翻译质量本身也是语言建模性能的强预测因子。
MENTOR 提出 on-policy pedagogical intervention 范式,通过多智能体实时诊断失败原因并生成教学 prompt,作为 plug-and-play 模块集成至 GRPO 等训练流程。 在 Llama-3.2-3B-Instruct 上,MENTOR 相比基础模型取得最高 78.3% 的平均相对增益,有效缓解 zero-reward collapse 问题。
该研究在低资源 ASR 场景中对比了 SpecAugment 和基于文本的数据增强方法,发现二者在音素级错误上具有互补性。 SpecAugment 会增加声调和腭化错误,而文本法引入辅音插入;组合使用时,基于文本的方法使低频音素频率提升 37%-38%,抵消了对方的错误。 这种超加性效应仅在 100 小时数据以下的低资源阶段显著存在,建议通过训练暴露度和声学特性来预筛选增强策略。
SWE-Critix 发布,旨在提升对编码智能体长轨迹的验证能力。该管线结合 SFT 与 RL,在 CodeForge-Preview 数据上训练 30B 模型,将分类准确率从 57% 提升至 78%。 项目已开源模型、数据集及训练代码,支持后续研究。
summary_zh: MSAR 将注意力残差机制扩展至多头深度注意力,在 18B 和 28B MoE 规模的 12 项基准测试中全面超越标准残差、mHC 和 AttnRes。
提出 BoundaryEvo 两阶段共演化框架,将 Qwen3.5-4B 在 IMO-AnswerBench 准确率从 62.9 提升至 75.3,在 AMO-Bench 上从 26.8 提升至 46.0。
BLiMPPI 推出了包含 33 种语言、12,000 多组负向极性项最小对比的评测基准。 该基准通过通用依存句法树库构建,评估了 12 个多语言和 2 个单语言模型,发现多语言模型在低资源语言上表现最差。
提出 TQS(轨迹质量分)结构评分框架,无需 LLM 评判且线性时间运行,用于筛选编码智能体轨迹以提升 SFT 效果。 TQS 基于 155,144 条成功轨迹,通过信息聚焦、意图-动作对齐等结构信号排序;筛选出的高质量轨迹训练模型在 SWE-Bench-Verified 上优于随机子集,提供比 LLM 选择更有效的扩展替代方案。
研究指出,LLM 预训练数据中约一半分类器分数差异发生在不同网络宿主(host)之间。 结合文档级质量分数、Web 图谱中心性指标和 Common Crawl 覆盖数据,模拟显示基于采样的深度爬取比均匀分配高效数倍。 Common Crawl 的中心性指导分配增益有限,且大量高质量页面仍集中在少量已知但未爬取的 URL 上。
针对低资源假新闻检测中数据稀缺问题,研究人员提出SharP边界感知文本生成框架。 该框架利用LLM作为工具,通过软硬提示双机制引导生成具有任务相关性的合成样本。 结合边界感知策略和双重目标优化,提升模型在低资源场景下的鲁棒性与泛化能力。
大语言模型在 On-Policy Self-distillation 训练中会出现能力退化现象,表现为早期正确响应的查询变得错误。研究提出 Representation Geometry Regularization 方法,通过鼓励簇内紧凑和簇间分离来保持隐藏表示几何结构。该方法无需改变核心优化流程,能缓解退化并保留能力提升。
研究提出一种无监督多模态奖励建模方法,利用冻结的 Qwen3-VL backbone 的中间层线性头,通过对比同图扰动版与原版 web caption 进行训练,无需人工偏好标签。
EvoSyn 是一个学习反馈驱动的多智能体框架,通过可修正状态组织数据合成,在 τ²-Bench 和 CAR-Bench 上将平均任务成功率提升 13.3 分。 该框架利用角色专业化的多智能体系统将学习者反馈转化为合成修正,并实现向弱覆盖区域的自适应及生成空间扩展。
研究表明 Qwen 模型可通过生成回放数据及在部分场景下选择回放目标,实现更广泛的自我保留能力。 实验发现生成的回放减少了银行外任务的遗忘,结合部分银行提升了 4B 模型的平均保留率,但固定示例预算下会牺牲新任务收益。
研究提出弹性隐式循环(ELR)方法,消除单循环模型的“税收”,使其精度与同规模非循环模型持平。 通过门控状态更新和混合深度训练,4B与30B-A3B模型单循环性能分别偏差-0.52和+1.04分,四循环显著提升7.25和4.75分。 衍生出的Koi-4B模型在单循环时得分18,四循环时达到29分,匹配Qwen3.5-4B性能。
SecTB-RTL 框架覆盖 31 项任务及 124 个安全回归,非 AI 基线在资源限制下杀死 36、75 和 78 个变异体。 首次运行因 schema 问题失败,修复后 1,860 次调用中仅 9 次通过生产级验证器,确认 provider 接受不等于执行有效。 该事故揭示了基础设施行为与模型行为的混淆风险,已发布基准及治理控制机制。
研究团队提出 UxSID 框架,利用 Semantic IDs 和双层注意力策略,实现语义分组共享兴趣记忆,在大规模广告 A/B 测试中带来 0.337% 的收入提升。 该框架通过端到端架构平衡计算效率与语义感知,避免了项目特定模型的高昂成本,在超长用户序列建模中取得最先进的性能表现。
该研究提出了非平稳场景下加权经验风险最小化的样本外预测误差分解框架,将超额风险拆分为学习项和分布漂移项,并在混合条件下证明了学习误差的预言不等式。 学习界均匀适用于任意权重类,且结合了权重向量诱导的有效样本量、权重与假设类的复杂度。漂移分析聚焦于平方损失设定,针对结构断点和平滑漂移过程提供了显式界,最优权重表现为学习项与漂移项之间的偏差-方差权衡。
训练样本的价值源于其与学习者的交互,而非样本本身。实验显示,在 ImageNet-100 上,ResNet-18 宽度加倍使易样与覆盖样的优势翻转阈值(crossover m0)从 57 移至 85 样本/类;输入分辨率从 32 增至 64 像素则使其回落至 57。
提出推理型 In-Context Shapley 流水线,通过语义 k-NN 邻居计算一阶项,无需更新参数,计算量仅为多 shot Monte-Carlo 的 1/19。
研究发现标准输出级评估系统性高估机器遗忘成功率,当前方法常表现为“表观遗忘”而非重训练一致性遗忘。 重训练一致的表示空间分析显示,现有模型在遗忘样本与保留样本间存在不对称残留,且残留集中沿重训练相关方向分布。 这种结构化失配超过独立重训练的变异性,导致再学习攻击中信息恢复风险,揭示了输出遗忘隐藏的安全隐患。
研究团队推出 MedGym,这是一个基于连续时间框架的动态医疗治疗推荐基准环境。 该环境利用物理信息神经网络构建,支持在不规则治疗时序和患者特定动态下,直接比较离散时间与连续时间强化学习方法。 MedGym 允许从个性化和轨迹级安全性等临床重要视角进行评估,从而为医疗强化学习方法提供更具真实性和信息量的标准化测试。
提出贝叶斯非参数混合效应ODE模型MEGPODE,将每个受试者的向量场分解为共享群体组件与个体偏差,两者均赋予高斯过程先验。 采用状态空间高斯过程先验表示潜在轨迹,并在有限时间网格上惩罚其导数与向量场的差异,避免训练时重复求解ODE。 在异质振荡及生物医学ODE基准测试中,相比强基线模型,显著提升了群体场恢复及受试者级轨迹预测性能。
该研究证明了构造多项式键 MPO Born 机器以有界 KL 误差近似任意连续目标分布是 NP-hard 问题。 对于满足对数 Sobolev 不等式的目标分布,若损失诱导的哈密顿量是局部的且具有常数谱间隙,则存在具备可证明 KL 保证的多项式键近似。 研究还证明,构建局部重要性采样估计器所需的局部分数查询次数可以是多项式级别的。
针对直接偏好优化(DPO)在多重 rollout 场景下丢弃传递性结构的问题,论文提出 GraphDPO 方法。 该方法在由 rollout 排名诱导的有向无环偏好图上操作,将支配关系编码为边,并优化图结构的 Plackett-Luce 启发目标函数。 通过等价类构造处理并列与不可比较响应,保持每提示词线性复杂度;在推理与程序合成任务上表现优于标准 DPO。
提出一种无模型基于实例的学习框架,利用惊讶度直接分析原始数据并执行推理。 该框架消除分布建模,支持数据直接编辑与删除,在异常检测及部分监督任务中达到 SOTA 水平。 该信息力学理论为构建可维持人类可理解性的可扩展机器学习与 AI 提供了可行基础。
深度机器遗忘研究长期忽视训练样本的个体差异,导致可行性未被充分探索。论文分析指出,使数据点难以遗忘的四个因素独立于特定遗忘算法,仅与目标模型及训练数据相关。作者呼吁研究界应重视机器遗忘中的实例级难度分析。
论文提出联合条件化线性不等式约束的高斯过程PDE求解方法。 在S&P 500期权链稀疏至20个报价时,无套利约束使外推误差降低22%,日历套利率从10%降至1%。 该构建将合法性条件从后处理转为概率求解的内在条件化信息。
该研究提出一种两阶段算法,无需已知平滑常数或方差边界,即可自适应平均平滑、标准平滑及无噪声场景。 平均平滑下收敛率为 O(T^{-1/3}),标准平滑下为 O(T^{-1/4}),无噪声时达 O(T^{-1/2});未知迭代预算 T 时采用对数因子路径。
研究提出一种可扩展的 empowerment 最大化方案,将 empowerment 定义为从给定状态可执行的技能数量。 该方法适用于任意底层技能学习算法,并在 Crafter 环境中验证了资源收集、环境修改和生存等涌现特性。
提出 CIG-SFT 框架,利用条件信息增益量化任务输入对演示决策的不确定性降低,实现更优的后训练监督微调。 该框架在数学推理和代码生成基准测试中,一致性优于标准 SFT 及自适应微调基线,且无需额外训练数据或在线 rollout。 此方法显著提升了模型在挑战性评估分布上的泛化能力。
针对生成式贝叶斯后验恢复困难,提出Two-way Guidance机制联合学习摘要统计量与后验分布。 该方法通过结构限制简化后验学习,并由后验目标引导摘要趋向充分性,提供后验误差及摘要充分性偏离的理论保证。