跳到正文
arXiv · ML· Jaedong Hwang, Xiaoqian Shen, Ernie Chang, Changsheng Zhao, Chong Zhou, Saksham Suri, Qi Qian, Zechun Liu, Lemeng Wu, Qinsi Wang, Raghuraman Krishnamoorthi, Wei Wen·· 2026-10-09AI 评分36

用无字幕原始视频对 Qwen3-1.7B 进行中间训练:纯自监督方案优于预测字幕

Mid-Training Language Models on Raw Video

AI 导读

研究证明,使用无字幕、无文本损失的原始视频对 Qwen3-1.7B 进行中间训练,可显著提升模型在视觉基准上的表现。 在四个视频基准上平均提高 2.9 分,十个图像基准上提高 5.1 分,且在 14 个文本基准上保持性能(平均 48.9 分,未训练模型为 48.0 分)。 结果表明,预测下一个视觉 token 优于预测字幕,证明视频中间训练可保持纯自监督,无需承担自动字幕生成的计算开销或标注噪声。

来源:arXiv · ML · arxiv.org