跳到正文
10月19日周四
10月11日周三
10月4日周三
10月3日周二
  1. Hugging Face Blog87

    Hugging Face Tokenizer 新增 chat_template 属性以解决聊天模型格式不匹配问题

    Hugging Face 在 tokenizer 中新增 chat_template 属性,用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式,使用错误格式会导致严重的性能下降且难以调试,该功能将格式逻辑从代码库移至模型仓库,允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。

    推荐理由:文章解释了 Chat template 如何解决格式错配导致的性能衰减问题,并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。

9月29日周五
9月25日周一
9月22日周五
  1. Hugging Face Blog64

    Hugging Face 上线 Inference for PROs:PRO 用户可加速调用 Llama 3、Mixtral 等模型 API

    Hugging Face 推出面向 PRO 订阅用户的 Inference API 服务,通过基于 text-generation-inference 的专属端点,为精选模型提供更高速率限制和更快的推理体验。

    推荐理由:Hugging Face 将 Llama 3 和 Mixtral 等热门模型的 API 接入纳入付费订阅,并兼容 OpenAI 调用规范,便于用户直接替换现有代码。

9月11日周一
9月8日周五
8月31日周四
8月28日周一
8月25日周五
  1. Hugging Face Blog86

    Hugging Face 发布 Code Llama 模型及生态系统集成

    Hugging Face 发布 Code Llama 家族模型,提供 7B、13B 和 34B 参数版本及其 Python 特化与指令微调变体。基于 Llama 2 并经过 500B tokens 代码数据训练,支持 16k 上下文扩展至 100k。

    推荐理由:展示了 Code Llama 在 Hugging Face 生态中的完整部署与微调路径,为工程师提供了可复用的生产级工具链。

8月23日周三
  1. Hugging Face Blog60

    Hugging Face 在 Transformers 中整合 AutoGPTQ 实现大模型轻量化

    Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。

    推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。

8月22日周二
8月15日周二
8月10日周四
8月8日周二
8月2日周三
7月24日周一
7月20日周四
7月7日周五
6月13日周二
6月1日周四
5月18日周四
  1. OpenAI74

    OpenAI 推出 ChatGPT iOS 应用

    OpenAI 发布 ChatGPT 的 iOS 应用,支持对话同步、语音输入,并集成了最新的模型改进。

    推荐理由:原文说明 ChatGPT iOS 应用同步对话和语音输入,方便读者了解移动端功能更新。

5月16日周二
  1. Hugging Face Blog50

    Q8-Chat 在 Xeon 上实现高效生成式 AI 体验:SmoothQuant 优化 LLM 推理

    Intel 与 Hugging Face 合作展示 Q8-Chat,利用 SmoothQuant 技术将 LLM 量化为 8 位整数,在 Intel Xeon CPU 上实现高效推理。 该方案使模型体积缩小约 2 倍,显著降低推理延迟,MPT-7B-chat 模型在 32 核 CPU 上即可实现实时文本生成。 这为组织提供了比高端 GPU 更具成本效益的 LLM 部署选项,提升了 IT 灵活性。

5月15日周一
4月26日周三
4月25日周二
4月24日周一
4月17日周一
4月6日周四
3月23日周四
  1. OpenAI65

    OpenAI 官方为 ChatGPT 引入插件功能

    OpenAI 官方为 ChatGPT 引入了初步的插件支持。这些专为语言模型设计的工具以安全为核心原则,可帮助 ChatGPT 访问最新信息、运行计算任务或使用第三方服务。

    推荐理由:官方确认ChatGPT支持插件生态,明确了AI通过工具调用实时获取信息和执行任务的可行性路径。

3月14日周二
3月9日周四
  1. Hugging Face Blog76

    Hugging Face 发布 trl 与 peft 集成,支持在 24GB 消费级 GPU 上微调 20B 大模型

    Hugging Face 官方发布 trl 与 peft 的集成更新,实现资源受限下的 LLM RLHF 微调。通过 8-bit 矩阵乘法和 LoRA 适配器降低显存占用,在 24GB 的 NVIDIA 4090 GPU 上成功微调 20B 参数量的 gpt-neox 模型,展示了消费级硬件参与大规模模型训练的可能性。

    推荐理由:将 LoRA 与 8-bit 量化结合,让消费级 GPU 承担 20B 模型微调,为资源有限的团队降低 RLHF 落地门槛。

3月2日周四
  1. Hugging Face Blog32

    Hugging Face 发布 Diffusers 库伦理准则与安全防护机制

    Hugging Face 在 Diffusers 库文档中发布了伦理框架,旨在指导维护者处理社区贡献并明确决策价值观。 该框架确立了透明、一致、简洁、可及、可复现及负责任六大核心原则。同时,团队与安全社区合作实施了多项安全机制,包括内容标签、偏见评估工具、Safe Stable Diffusion 以及 OpenRAILs 许可协议,以降低技术应用风险。

2月24日周五
2月10日周五
  1. Hugging Face Blog72

    Hugging Face 发布 PEFT 库实现参数高效微调

    Hugging Face 发布 PEFT 库,集成 LoRA 和 Prompt Tuning 等技术,与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存,且模型权重仅 19MB 即可保存部署,性能接近全量微调。

    推荐理由:官方开源了可插拔的轻量微调库,允许用 MB 级参数文件在消费级显卡上复现全量微调效果,改变了大模型适应下游任务的成本结构。