跳到正文
3月11日周二
  1. Hugging Face Blog62

    L2D 发布:全球最大开源自动驾驶多模态数据集

    Yaak 与 Hugging Face 联合发布 L2D,这是全球规模最大的开源自动驾驶多模态数据集,包含超过 90TB、5000 小时的德国 30 城驾驶数据,涵盖 6 路环视相机、完整车辆状态、环境条件及自然语言指令。数据将分阶段更新至 R4,并支持接入 LeRobot 流水线进行端到端模型训练,2025 年夏季还将开放带安全员的闭环实测。

    推荐理由:L2D 是当前最大的开源自动驾驶多模态数据集,包含 90TB 以上数据,可直接接入 LeRobot 训练端到端模型。

3月7日周五
3月4日周二
  1. Hugging Face Blog69

    Cohere 发布 Aya Vision 8B 与 32B 多语言视觉模型

    Cohere 开放 Aya Vision 8B 和 32B 权重,支持 23 种语言的图像理解、视觉问答与图文翻译。模型基于 SigLIP2-patch14-384 视觉编码器和 Aya Expanse 语言底座,通过 4 倍 Pixel Shuffle 下采样降低多模态输入开销。

    推荐理由:模型在开放权重下支持 23 种语言视觉任务,并配合评测基准发布,可直接复用于多语言视觉落地。

2月28日周五
2月25日周二
  1. Hugging Face Blog61

    Hugging Face 发布 Python 实时通信库 FastRTC

    Hugging Face 发布专为 Python 设计实时通信库 FastRTC,简化实时音视频 AI 应用开发。该库内置语音检测、轮替控制和 WebRTC Gradio 界面,支持通过 FastAPI 自定义部署,并提供免费电话接入功能,开发者可结合 Moonshine、Kokoro 等模型快速构建实时语音应用。

    推荐理由:为 Python 开发者提供开箱即用的实时音视频通信库,降低 WebRTC 工程门槛,并内置 Gradio 界面和电话接入功能。

2月24日周一
2月21日周五
  1. Hugging Face Blog75

    Google 发布 SigLIP 2 多语言视觉语言编码器

    Google 发布 SigLIP 2 多语言视觉语言编码器,作者团队在 SigLIP 的 sigmoid loss 之上叠加解码器、全局-局部自蒸馏和掩码预测等辅助目标,以提升语义理解、定位和密集特征能力。

    推荐理由:作者拆解了 SigLIP 2 相对 SigLIP 新增的多项训练目标与动态分辨率变体,并给出可直接运行的推理与对比方法。

2月20日周四
  1. Hugging Face Blog60

    Hugging Face 发布 SmolVLM2 系列视频理解模型

    Hugging Face 发布 SmolVLM2 多模态模型家族,包含 2.2B、500M 和 256M 三个尺寸,用于视频理解任务。2.2B 模型在 Video-MME 基准上超过现有 2B 级别模型;500M 版本支持在 iPhone 本地运行;所有模型均可通过 Transformers 和 MLX 框架进行推理和微调。

    推荐理由:SmolVLM2 提供 2.2B、500M 和 256M 三种尺寸视频模型并支持端侧运行,读者可按设备内存直接评估部署门槛。

2月19日周三
  1. Hugging Face Blog66

    Google 发布 PaliGemma 2 Mix 多任务指令视觉语言模型

    Google 发布 PaliGemma 2 mix,这是一组在多种视觉语言任务上微调的指令型视觉语言模型,覆盖 3B、10B 和 28B 规模。文章展示了其处理开放式任务提示和检测定位任务的方式,并提供了通过 Transformers 进行推理的代码和在线演示。

    推荐理由:文章解释了 mix 变体如何作为预训练模型的下游能力参考,并给出可运行的推理示例。

2月18日周二
2月14日周五
2月13日周四
  1. Hugging Face Blog45

    Hugging Face 大规模分类与嵌入推理成本优化指南

    Hugging Face 博客提供框架用于计算单日 10 亿次以上分类或嵌入任务的推理成本。案例显示在 nvidia-L4 硬件上处理 10 亿次分类请求成本为 $253.82,嵌入为 $409.44,视觉嵌入高达 $44,496.51。通过调整 INFINITY_BATCH_SIZE 和 VUs 等参数并水平扩展 GPU 副本,可优化高吞吐量下的成本效率。

2月12日周三
12月17日周二
12月16日周一
12月5日周四
7月18日周四
  1. Mistral AI63

    Mistral 发布 12B 参数多语言模型 Mistral NeMo,支持 128k 上下文窗口

    Mistral AI 正式发布 Mistral NeMo 12B,该模型由 NVIDIA 协助构建,提供最高 128k tokens 的上下文窗口。模型采用 Apache 2.0 协议开源,在推理、世界知识和编程能力上达到同规模 SOTA 水平。

    推荐理由:Mistral NeMo 12B 引入 128k 上下文和新 tokenizer Tekken,性能超越同类开源模型且支持 FP8 推理,适合多语言业务部署。

5月21日周二
5月16日周四
5月14日周二
  1. Hugging Face Blog75

    Google开源视觉语言模型PaliGemma:基于SigLIP与Gemma-2B的开放权重

    Google 发布开源视觉语言模型 PaliGemma,架构结合 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器。模型在 Hugging Face 提供预训练(pt)、混合任务微调(mix)及特定基准微调(ft)三种类型,支持 224x224 至 896x896 分辨率与多种精度。

    推荐理由:PaliGemma提供预训练与微调混合权重,适合在多模态任务中复用SigLIP加Gemma的组合流程。

5月13日周一
  1. Hugging Face Blog78

    Transformers Agents 2.0 发布,Llama-3 在 GAIA 榜单超越 GPT-4 智能体

    Hugging Face 发布了 Transformers Agents 2.0,引入支持迭代观察的新智能体结构,并强调代码的模块化与工具使用的透明性。基于该框架、以 Llama-3-70B-Instruct 为底层的智能体在 GAIA 基准测试中表现优于多个 GPT-4 基智能体,取得榜单第四名,目前处于开源类最佳位置。

    推荐理由:官方开源框架 smolagents 引入了能迭代观察的多智能体结构,Llama-3 在 GAIA 榜单上表现优于 GPT-4 智能体。

5月9日周四
5月3日周五
  1. Hugging Face Blog60

    Hugging Face 引入 Artificial Analysis LLM 性能榜单

    Hugging Face 正式引入 Artificial Analysis 开发的 LLM 性能榜单,该榜单覆盖 100 多个 LLM API 端点,统一提供模型质量、价格、吞吐量与延迟指标。

    推荐理由:原文将价格、速度与质量指标整合在单一榜单中,AI 工程师可据此在应用设计阶段对推理成本与延迟做出更具体的权衡。

5月1日周三
  1. Hugging Face Blog36

    Hugging Face Inference Endpoints 实现 Whisper ASR 与说话人分离及推测解码

    Hugging Face Inference Endpoints 支持部署 Whisper 进行自动语音识别,并集成 Pyannote 模型实现说话人分离及推测解码加速。该自定义推理处理器允许通过单个 API 端点组合 ASR 与分离功能,其中推测解码要求辅助模型解码器架构一致且批大小为 1。配置通过环境变量指定模型参数,分离功能需显式传递 HF_TOKEN 以确保安全。

4月30日周二
4月29日周一
  1. Hugging Face Blog66

    StarCoder2-15B-Instruct 发布:开源完全透明的自对齐代码模型

    Hugging Face 和 BigCode 团队发布 StarCoder2-15B-Instruct-v0.1,这是一个完全基于自生成数据(self-aligned)训练的代码语言模型,其 HumanEval 得分达 72.6。该模型训练过程完全透明,不依赖 GPT-4 等专有模型的蒸馏数据,并已在 LiveCodeBench 上展现出优于使用 GPT-4 蒸馏数据微调模型的代码生成能力。

    推荐理由:该模型完全通过自生成数据实现指令微调,证明不依赖外部教师模型也能获得强代码能力,并开源了全流程。

4月23日周二
4月22日周一
4月19日周五
4月18日周四
4月16日周二
  1. Hugging Face Blog33

    Hugging Face 推出 LiveCodeBench 排行榜,实现代码 LLM 的无污染全面评估

    Hugging Face 发布基于 UC Berkeley 等机构研发的 LiveCodeBench 的排行榜。该基准通过标注题目发布时间,利用“时间滚动”策略检测并防止数据污染。LiveCodeBench 涵盖代码生成、自我修复等四项场景,使用 Pass@1 指标进行评估,其中 GPT-4-Turbo 在多数场景表现最佳。

4月15日周一
4月11日周四
  1. Hugging Face Blog62

    Vision Language Models 原理与微调指南

    Hugging Face 博客解析视觉语言模型(VLM)架构原理,介绍 LLaVA、Qwen-VL 等主流开源模型及其应用场景。指南详细说明了如何使用 transformers 库进行推理,并利用 TRL 的 SFTTrainer 在 llava-instruct 数据集上对 VLM 进行指令微调的完整流程。

    推荐理由:提供VLM结构与微调指南,并给出基于TRL的完整代码示例,帮助降低多模态模型使用门槛。