Hugging Face Blog·· 2024-12-17AI 评分34
GCP 上 5 代 Intel Xeon 处理器在嵌入与生成任务中吞吐量提升 2.3–24 倍
Benchmarking Language Model Performance on 5th Gen Xeon at GCP
AI 导读
在 Google Cloud C4 实例(5 代 Xeon)上运行 Llama-3.2-3 模型和 UAE-Large-V1 嵌入模型,文本嵌入吞吐量较 N2 提升 10–24 倍,文本生成提升 2.3–3.6 倍。C4 每小时价格约为 N2 的 1.3 倍,在成本调整后嵌入和生成的总拥有成本优势分别为 7–19 倍和 1.7–2.9 倍。
来源:Hugging Face Blog · huggingface.co