跳到正文

公司与模型

NVIDIA 英伟达 最新动态

英伟达的 AI 芯片与生态动态:GPU 新品、CUDA 生态、机器人平台与 AI 算力市场的风向。

103 条精选近 30 天 83 条共收录 816 条

更新

精选归档 · 第 6 页

3月18日周二第 101–103 条
12月11日周一
  1. Mistral AI62

    Mistral AI 开放 la plateforme 平台服务 beta 权限

    Mistral AI 开放了首个平台服务的 beta 权限,提供三个文本生成端点和一个嵌入端点。Mistral-tiny 端点基于 Mistral 7B Instruct v0.2,Mistral-small 基于 Mixtral 8x7B,Mistral-medium 基于原型模型,三者分别在 MT-Bench 上取得 7.6、8.3 和 8.6 分。

    推荐理由:Mistral AI 开放了首个平台服务 beta 权限,并给出了三个推理端点与嵌入端点的基准表现,方便开发者对比选择。

12月5日周二
  1. Hugging Face Blog76

    Optimum-NVIDIA 库发布:通过一行代码和 FP8 量化实现 LLM 推理加速

    Hugging Face 发布 Optimum-NVIDIA 推理库,支持在 NVIDIA 平台上通过修改一行代码启用 FP8 量化,实现最高 28 倍推理加速和 1200 tokens/s 的吞吐量。

    推荐理由:提供了从 Transformers 迁移至 Optimum-NVIDIA 的代码对比,展示了 FP8 量化在降低首字延迟和提升吞吐量方面的具体收益。