跳到正文
arXiv · NLP· Aditi Khandelwal, Ayush K. Tarun, Yixuan Xu, Imanol Schlag, Golnoosh Farnadi, Siva Reddy, Luke Zettlemoyer, Antoine Bosselut·· 2026-10-14AI 评分46

多模态数据混合缩放定律:268 项 MoE 实验揭示模态间干扰机制

Scaling Laws for Multimodal Data Mixtures

AI 导读

研究推导了文本、视觉和音频三种模态的数据混合缩放定律,揭示了前沿 MLLM 预训练中的数据配比规律。 基于 457M 至 8.3B 参数的 MoE 架构进行了 268 项实验,使用最多 150 亿 token 训练数据。发现音频模态偏向模型规模扩展,视觉模态对音频干扰显著。 该研究为训练前沿多模态大语言模型提供了理解数据混合原理的基础。

来源:arXiv · NLP · arxiv.org