跳到正文
Hugging Face Blog·· 2025-07-08AI 评分48

Hugging Face 基于 Knapsack 优化 nanoVLM 多模态数据管道

Efficient MultiModal Data Pipeline

AI 导读

Hugging Face 团队针对 nanoVLM 项目构建高效多模态数据管道,通过五个阶段优化以解决 GPU 空闲等待和填充浪费问题。 采用 Knapsack 策略将批次中约 60% 的无效填充 token 降至最低,并引入生产者-消费者模式实现动态批处理。 该方案利用贪婪和二分打包策略平衡 token 与图像数量,显著提升训练效率。

来源:Hugging Face Blog · huggingface.co