跳到正文
arXiv · NLP· Haoyuan Wu, Aoqi Wu, Hai Wang, Jiajia Wu, Jinxiang Ou, Bei Yu·· 2026-10-09AI 评分27

原生多模态预训练的从零缩放特性研究

Scaling Native Multimodal Pre-Training From Scratch

AI 导读

针对固定算力预算下的 Transformer 视觉语言模型,研究发现最小目标损失遵循可预测的计算法则,而计算最优的模型规模与 token 数量呈幂律分布。语言与多模目标呈现不同分配趋势,多模态模型分配指数随多模态 token 比例增加而适度下降,转向 token 分配。下游评测显示,原生多模态预训练能提升空间推理能力并改善多模态少样本学习表现,为多模态基础模型的可预测缩放奠定实证基础。

来源:arXiv · NLP · arxiv.org