跳到正文
原文
Hugging Face Blog·· 2025-02-12AI 评分47

Hugging Face 开源 Xet 存储优化方案,加速 Hub 上传下载 2-3 倍

From Chunks to Blocks: Accelerating Uploads and Downloads on the Hub

AI 导读

Hugging Face 开源基于 Rust 的 xet-core 和 hf_xet,将 Hugging Face Hub 模型与数据集仓库的上传下载速度提升 2 至 3 倍。方案通过引入 Block 和 Shard 聚合机制替代纯 Chunk 存储,减少内容寻址存储条目达 1000 倍,并优化了 3.5PB 量化 GGUF 模型文件的去重效率。

来源:Hugging Face Blog · huggingface.co