跳到正文
5月14日周二
  1. Hugging Face Blog75

    Google开源视觉语言模型PaliGemma:基于SigLIP与Gemma-2B的开放权重

    Google 发布开源视觉语言模型 PaliGemma,架构结合 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器。模型在 Hugging Face 提供预训练(pt)、混合任务微调(mix)及特定基准微调(ft)三种类型,支持 224x224 至 896x896 分辨率与多种精度。

    推荐理由:PaliGemma提供预训练与微调混合权重,适合在多模态任务中复用SigLIP加Gemma的组合流程。

4月10日周三
  1. Hugging Face Blog43

    Hugging Face 与 Google Cloud 合作将数千个开源 LLM 接入 Vertex AI Model Garden

    Hugging Face 推出 Google Cloud 集成,允许将数千个开源基础模型通过 Vertex AI 或 GKE 部署。支持带有“text-generation-inference”标签的模型,开发者可一键生成生产级 API 端点。数百个热门开源 LLM 提供预配置硬件方案,无需管理基础设施即可在 Google Cloud 环境中构建生成式 AI 应用。

4月9日周二
  1. Hugging Face Blog86

    CodeGemma 发布:面向代码的 LLM

    Google 发布了 CodeGemma 模型,包含 2B、7B 和 7B Instruct 三种版本,专为代码生成、补全和推理设计。CodeGemma 7B 在 Python、JavaScript 和 C++ 的 HumanEval 评测中表现优于其他 7B 模型,但在中文代码方面尚未测试。

    推荐理由:三个模型直接开源可下载,附 transformers 代码和量化部署方案,方便读者在本地复现。

3月25日周一
  1. Hugging Face Blog48

    Pollen Robotics 发布开源 Pollen-Vision 库,为机器人提供零样本 3D 物体检测接口

    Pollen Robotics 团队发布开源 pollen-vision 库,该工具包整合了 OWL-VIT、Mobile SAM 和 RAM 等零样本视觉模型,旨在让机器人无需训练即可抓取未知物体。当前版本聚焦于 3D 物体检测,能通过相机内参计算物体在 3D 空间中的 (x, y, z) 坐标,但尚未支持 6D 姿态估计。

2月23日周五
2月21日周三
  1. Hugging Face Blog94

    Google 发布 Gemma 开源大语言模型

    Google 发布名为 Gemma 的 4 个开源 LLM 模型,其中 7B 参数版本采用 6T token 预训练,8K context 下得分 63.75。Hugging Face 提供 transformers 4.38 集成支持,并说明使用 QLoRA 在单张 A10G GPU 上微调 gemma-7b 需约 9 小时。

    推荐理由:Hugging Face 给出了 Gemma 与同级模型的基准对比,以及消费级 GPU 微调实践入口。

1月25日周四
10月25日周三
10月3日周二
9月27日周三
  1. Mistral AI88

    Mistral AI 发布 Mistral 7B 开源模型

    Mistral AI 发布 7B 参数模型 Mistral 7B,其在标准英语和代码基准测试中超越所有目前可用的 13B 及以下开源模型。该模型基于 Apache 2.0 协议发布,运行速度更快且成本更低,适用于摘要、问答等任务。公司计划在未来几个月内逐步发布缩小黑盒与开源模型性能差距的新模型。

    推荐理由:原文展示了 7B 模型超越 13B 开源模型的性能对比,并明确采用 Apache 2.0 协议,为开发者提供了低成本且可控的替代方案。

12月9日周五
  1. Hugging Face Blog63

    Hugging Face 详解 RLHF(基于人类反馈的强化学习)原理与开源实现

    RLHF 利用人类反馈直接优化大语言模型,使其对齐复杂的人类价值观。该流程包含预训练语言模型、收集数据并训练奖励模型、使用 PPO 强化学习微调语言模型三个核心步骤。Hugging Face 介绍了当前活跃的开源工具 TRL、TRLX 和 RL4LMs,并梳理了该领域的发展脉络、现存挑战及后续方向。

    推荐理由:将多模型协同训练的复杂机制拆解为三阶段并梳理开源工具,帮助读者建立对RLHF完整管线的实操理解。

10月13日周四
8月19日周五
3月2日周三
  1. Hugging Face Blog23

    BERT 101:解读 NLP 领域尖端模型

    BERT 是由 Google AI Language 于 2018 年开发的自然语言处理模型,利用 Transformer 架构实现了双向文本理解。该模型通过 3.3 亿词的数据集训练,解决了情感分析等 11 类常见 NLP 任务。其衍生版本 DistilBERT 速度提升 60%,同时保持了 95% 以上的性能。

12月15日周三
  1. Hugging Face Blog33

    Perceiver IO:适用于任意模态的可扩展全注意力模型

    Hugging Face Transformers 新增 Perceiver IO,这是首个基于 Transformer 且适用于文本、图像、音频、视频及点云等任意模态及其组合的模型。该架构在潜在变量上使用自注意力,使计算量独立于输入大小,仅线性依赖输入规模。模型支持 256 或 512 个潜在变量,可实现图像分类及光流预测等任务。

10月20日周三
  1. Hugging Face Blog37

    Hugging Face Blog 指出 Transformer 架构正成为机器学习通用架构

    Transformer 架构已扩展至 NLP 之外,正成为机器学习通用架构,在计算机视觉、语音等领域表现高效。Google Vision Transformer 和 CoAtNet 在 ImageNet 图像分类中创下新基准,且所需计算资源更少。行业正从从零训练模型转向使用现成模型进行微调,以更快交付业务价值。

3月31日周三
3月18日周四
7月3日周五
  1. Hugging Face Blog62

    Hugging Face 深入解析 Reformer 长序列建模的内存优化技术

    Hugging Face 官方博客通过公式推导和基准测试,详细解释了 Reformer 模型如何在低于 8GB 内存限制下处理 50 万 token 序列。文章重点剖析了 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四种核心技术,展示了它们分别如何降低 O(n^2) 内存复杂性和训练时的激活存储压力。

    推荐理由:原文拆解了 Reformer 四大内存优化组件,并给出基准测试数据,帮助读者理解长序列模型的工程实现取舍。

3月6日周三
  1. OpenAI45

    OpenAI 发布激活图谱技术

    OpenAI 与 Google 研究员合作发布激活图谱(Activation Atlases),这是一种可视化神经元交互表征的新技术。该技术支持识别 AI 系统的弱点并调查故障,有助于理解其在敏感场景中的内部决策过程。