跳到正文

公司与模型

NVIDIA 英伟达 最新动态

英伟达的 AI 芯片与生态动态：GPU 新品、CUDA 生态、机器人平台与 AI 算力市场的风向。

21 条精选近 30 天 16 条共收录 226 条

更新

精选归档 · 第 2 页

12月5日周二第 21–21 条
  1. Hugging Face Blog76

    Optimum-NVIDIA 库发布：通过一行代码和 FP8 量化实现 LLM 推理加速

    Hugging Face 发布 Optimum-NVIDIA 推理库，支持在 NVIDIA 平台上通过修改一行代码启用 FP8 量化，实现最高 28 倍推理加速和 1200 tokens/s 的吞吐量。

    推荐理由：提供了从 Transformers 迁移至 Optimum-NVIDIA 的代码对比，展示了 FP8 量化在降低首字延迟和提升吞吐量方面的具体收益。