技术方向
开源模型、框架与仓库动态：权重开放、社区项目爆火、开源与闭源的力量消长。
86 条精选近 30 天 25 条共收录 276 条
Mistral AI 开放了首个平台服务的 beta 权限，提供三个文本生成端点和一个嵌入端点。Mistral-tiny 端点基于 Mistral 7B Instruct v0.2，Mistral-small 基于 Mixtral 8x7B，Mistral-medium 基于原型模型，三者分别在 MT-Bench 上取得 7.6、8.3 和 8.6 分。
推荐理由：Mistral AI 开放了首个平台服务 beta 权限，并给出了三个推理端点与嵌入端点的基准表现，方便开发者对比选择。
Mistral 发布 Mixtral 8x7b 大语言模型，提供 Apache 2.0 许可。该模型采用 Mixture of Experts 架构，在 MT-Bench 等测试中表现优于 Llama 2 70B，性能接近 GPT-3.5，支持 32k tokens 上下文窗口。
推荐理由：结合基准数据与工程化落地方案，呈现 Mixtral 8x7b 在开放权重模型中的能力层级与部署路径。
Hugging Face 发布教程，演示如何基于 bigcode/starcoder 微调个人代码助手 HugCoder，使用 Hugging Face GitHub 组织公开仓库作为训练数据。
推荐理由：原文完整展示了从 GitHub 仓库提取代码到 QLoRA 与全量微调 StarCoder 的流程，并提供了 1B 模型在本地 M1 芯片运行的可复现步骤。
Hugging Face 在 tokenizer 中新增 chat_template 属性，用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式，使用错误格式会导致严重的性能下降且难以调试，该功能将格式逻辑从代码库移至模型仓库，允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。
推荐理由：文章解释了 Chat template 如何解决格式错配导致的性能衰减问题，并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。
TRL 库新集成了 DDPOTrainer 类，用于将 Denoising Diffusion Policy Optimization (DDPO) 应用于 Stable Diffusion 模型，使其输出更符合人类审美等偏好。
推荐理由：通过 TRL 新集成的 DDPOTrainer，读者可以直接在本地用 RL 微调 Stable Diffusion，降低扩散模型对齐人类偏好的门槛。
Würstchen 是一款采用高度压缩隐空间的扩散图像生成模型，通过 42 倍空间压缩技术显著降低计算成本并提升生成速度。模型 v1 版本的训练成本仅 9,000 GPU 小时，较 Stable Diffusion 1.4 减少 16 倍，现已通过 Diffusers 库开放使用并支持 1024 至 1536 分辨率。
推荐理由：模型通过 42 倍空间压缩实现生成加速，其 9,000 GPU 小时训练成本大幅低于同类技术。
Hugging Face 正式发布 TII 开发的开源大语言模型 Falcon 180B，该模型拥有 1800 亿参数，使用了 3.5 万亿 tokens 进行预训练。
推荐理由：Falcon 180B 是当时最大的开源语言模型，在 Hugging Face 生态中提供了完整的部署和微调指南。
Hugging Face 发布 Code Llama 家族模型，提供 7B、13B 和 34B 参数版本及其 Python 特化与指令微调变体。基于 Llama 2 并经过 500B tokens 代码数据训练，支持 16k 上下文扩展至 100k。
推荐理由：展示了 Code Llama 在 Hugging Face 生态中的完整部署与微调路径，为工程师提供了可复用的生产级工具链。
Hugging Face 发布开源多模态模型 IDEFICS，该模型是对 DeepMind Flamingo 的开源复现，可处理图像和文本序列输入并生成文本输出。
推荐理由：该模型基于公开数据复现了专有视觉语言模型，并展示了红队测试与透明度实践。
Hugging Face 在 TRL 库中引入了 DPO（Direct Preference Optimization）功能，允许开发者跳过复杂的 RLHF 奖励模型构建环节，直接通过偏好数据微调大模型。教程展示了如何使用 QLoRA 技术对 Llama v2 7B 模型进行 SFT 和 DPO 两阶段训练，并提供了基于 Stack-Exchange 偏好数据集的完整代码示例与训练指标监控方法。
推荐理由：教程结合官方库演示了如何用 DPO 替代复杂 RLHF 流程微调 Llama 2，提供了可直接运行的 QLoRA 训练代码。
Hugging Face 与 Apple 合作实现 Stable Diffusion XL 在 Apple Silicon Mac 上的本地运行，通过混合位调色（Mixed-Bit Palettization）技术将 UNet 模型压缩至等效 4.5 bit/参数，体积从 4.8 GB 降至 1.4 GB（减少71%）且生成质量优良。
推荐理由：介绍了混合位调色量化技术，可将模型尺寸降低71%且保持质量，为本地化部署提供了实用方法。
Hugging Face 官方发布博客，介绍结合了 RNN 与 Transformer 优势的 RWKV 架构，目前已集成至 transformers 库并支持多种模型规格。
推荐理由：介绍了 RWKV 架构如何融合 RNN 推理效率与 Transformer 长上下文优势，并展示了在 Hugging Face 上的完整使用示例。
Hugging Face 推出代码大语言模型 StarCoder，基座 StarCoderBase 在 The Stack 1.2 数据集上用 80+ 种语言、1 万亿 token 训练出 15B 参数模型，StarCoder 进一步在 35B Python token 上微调得到。
推荐理由：官方展示了模型在 HumanEval 等基准上超越同体量开源及闭源模型的成绩，并给出了多语言与辅助对话的应用潜力。
Hugging Face 团队开源了 StackLLaMA 模型及 RLHF 训练全流程实现，展示了如何通过监督微调（SFT）、奖励建模（RM）和强化学习（RLHF）让 7B 规模的 LLaMA 模型回答 Stack Exchange 问题。该流程支持使用 LoRA 和 8-bit 量化技术将模型部署在单块 80GB A100 GPU 上，降低了模型对齐训练的硬件门槛。
推荐理由：原文提供了基于 LLaMA 模型进行 RLHF 训练的完整流水线实现与参数优化策略，适合需要降低模型对齐训练硬件门槛的开发者。
Hugging Face 发布 PEFT 库，集成 LoRA 和 Prompt Tuning 等技术，与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存，且模型权重仅 19MB 即可保存部署，性能接近全量微调。
推荐理由：官方开源了可插拔的轻量微调库，允许用 MB 级参数文件在消费级显卡上复现全量微调效果，改变了大模型适应下游任务的成本结构。
Hugging Face 在 Transformers 库中实现了微软研发的 SpeechT5 语音模型，支持 TTS、ASR 和语音转换。该模型利用统一的 Transformer 架构，通过在混合数据上预训练并结合不同的前馈层和反向网络来执行多项任务。
推荐理由：通过预训练统一模型架构，展示了语音与文本模态如何共享 Transformer 骨干实现多任务处理。
Hugging Face 的 diffusers 库正式支持 LoRA（低秩适配）技术用于 Stable Diffusion 的微调。该方案通过冻结预训练模型权重并注入可训练层，显著降低了计算资源和显存需求，例如在 11 GB 显存的 2080 Ti 显卡上即可完成全量微调，且训练得到的权重文件仅约 3 MB，便于共享。
推荐理由：原文给出了LoRA微调的完整实践指南，读者可以据此用更低成本训练和共享自定义模型。
OpenAI 训练并开源了名为 Whisper 的神经网络，其在英语语音识别上具备接近人类水平的鲁棒性和精度。
推荐理由：官方开源了具备类人鲁棒性和精度的英语语音识别模型。
Hugging Face 官方团队发布 Diffusers 0.3 版本更新。该版本新增了图像到图像生成、Textual Inversion 个性化训练和 Inpainting 图像修复等核心管线。
推荐理由：原文详细介绍了 Diffusers 0.3 版本新增的图像生成管线、低显存优化及 Mac 支持等核心特性，适合开发者和研究者快速掌握最新功能。
Hugging Face 发布 176B 参数开源模型 BLOOM，支持 46 种自然语言和 13 种编程语言。该模型由 70 多个国家的 1000 余名研究者历时一年协作完成，并首次开放训练中间检查点与推理 API，支持学术界和独立开发者下载、运行及基于 Responsible AI 许可进行二次开发。
推荐理由：BLOOM 作为 176B 参数开源模型，开放了 46 种自然语言和 13 种编程语言的能力验证与二次开发入口。