跳到正文

技术方向

开源生态 最新动态

开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。

413 条精选近 30 天 173 条共收录 3,969 条

更新

精选归档 · 第 21 页

4月5日周三第 401–413 条
  1. Hugging Face Blog65

    StackLLaMA: 基于 RLHF 微调 LLaMA 模型的实战指南

    Hugging Face 团队开源了 StackLLaMA 模型及 RLHF 训练全流程实现,展示了如何通过监督微调(SFT)、奖励建模(RM)和强化学习(RLHF)让 7B 规模的 LLaMA 模型回答 Stack Exchange 问题。该流程支持使用 LoRA 和 8-bit 量化技术将模型部署在单块 80GB A100 GPU 上,降低了模型对齐训练的硬件门槛。

    推荐理由:原文提供了基于 LLaMA 模型进行 RLHF 训练的完整流水线实现与参数优化策略,适合需要降低模型对齐训练硬件门槛的开发者。

2月10日周五
  1. Hugging Face Blog72

    Hugging Face 发布 PEFT 库实现参数高效微调

    Hugging Face 发布 PEFT 库,集成 LoRA 和 Prompt Tuning 等技术,与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存,且模型权重仅 19MB 即可保存部署,性能接近全量微调。

    推荐理由:官方开源了可插拔的轻量微调库,允许用 MB 级参数文件在消费级显卡上复现全量微调效果,改变了大模型适应下游任务的成本结构。

2月8日周三
  1. Hugging Face Blog76

    Hugging Face 实现 Microsoft 的 SpeechT5 语音模型

    Hugging Face 在 Transformers 库中实现了微软研发的 SpeechT5 语音模型,支持 TTS、ASR 和语音转换。该模型利用统一的 Transformer 架构,通过在混合数据上预训练并结合不同的前馈层和反向网络来执行多项任务。

    推荐理由:通过预训练统一模型架构,展示了语音与文本模态如何共享 Transformer 骨干实现多任务处理。

1月26日周四
  1. Hugging Face Blog80

    Hugging Face 发布 diffusers 的 LoRA 微调支持

    Hugging Face 的 diffusers 库正式支持 LoRA(低秩适配)技术用于 Stable Diffusion 的微调。该方案通过冻结预训练模型权重并注入可训练层,显著降低了计算资源和显存需求,例如在 11 GB 显存的 2080 Ti 显卡上即可完成全量微调,且训练得到的权重文件仅约 3 MB,便于共享。

    推荐理由:原文给出了LoRA微调的完整实践指南,读者可以据此用更低成本训练和共享自定义模型。

9月21日周三
9月12日周一
  1. Hugging Face Blog78

    Hugging Face 发布 Diffusers 0.3 版本,新增图像生成与低显存优化功能

    Hugging Face 官方团队发布 Diffusers 0.3 版本更新。该版本新增了图像到图像生成、Textual Inversion 个性化训练和 Inpainting 图像修复等核心管线。

    推荐理由:原文详细介绍了 Diffusers 0.3 版本新增的图像生成管线、低显存优化及 Mac 支持等核心特性,适合开发者和研究者快速掌握最新功能。

7月12日周二
  1. Hugging Face Blog89

    Hugging Face 发布 BLOOM:世界最大开源多语言大模型

    Hugging Face 发布 176B 参数开源模型 BLOOM,支持 46 种自然语言和 13 种编程语言。该模型由 70 多个国家的 1000 余名研究者历时一年协作完成,并首次开放训练中间检查点与推理 API,支持学术界和独立开发者下载、运行及基于 Responsible AI 许可进行二次开发。

    推荐理由:BLOOM 作为 176B 参数开源模型,开放了 46 种自然语言和 13 种编程语言的能力验证与二次开发入口。

5月10日周二
12月8日周三
  1. Hugging Face Blog64

    Hugging Face 教程:从零开始训练 CodeParrot 代码生成模型

    Hugging Face 发布教程,介绍如何从零训练 110M 和 1.5B 参数的 GPT-2 模型 CodeParrot 以生成 Python 代码。该模型使用基于 180GB Python 代码清洗后的 50GB 数据集训练,并采用 🤗 Accelerate 库在 16 张 A100 GPU 上完成分布式训练。

    推荐理由:提供了训练 GPT-2 大模型的具体步骤,涵盖数据清洗、分词器设计和分布式训练,可复用于自研代码模型。

7月3日周五
  1. Hugging Face Blog62

    Hugging Face 深入解析 Reformer 长序列建模的内存优化技术

    Hugging Face 官方博客通过公式推导和基准测试,详细解释了 Reformer 模型如何在低于 8GB 内存限制下处理 50 万 token 序列。文章重点剖析了 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四种核心技术,展示了它们分别如何降低 O(n^2) 内存复杂性和训练时的激活存储压力。

    推荐理由:原文拆解了 Reformer 四大内存优化组件,并给出基准测试数据,帮助读者理解长序列模型的工程实现取舍。

4月30日周四
8月20日周二
  1. OpenAI65

    OpenAI 发布 GPT-2 774M 参数模型及开源协议

    OpenAI 发布 7.74 亿参数的 GPT-2 语言模型,这是继今年 2 月发布 1.24 亿参数小模型、5 月发布 3.55 亿参数中等模型后的后续行动。官方同步推出开源法律协议以便机构建立模型共享伙伴关系,并发表技术报告说明与 AI 研究界协调发布规范的经验。

    推荐理由:官方说明分阶段发布774M参数模型及开源协议,展示了协调AI社区处理潜在滥用的具体实践。

5月15日周一