开源 LLM 如何作为 LangChain ReAct 智能体
Hugging Face 展示了如何用 ChatHuggingFace 构建 ReAct 智能体,并发布了 smolagents 库。基准测试显示 Mixtral-8x7B-Instruct-v0.1 在工具调用和搜索任务上表现优于 GPT-3.5,而 Llama2-70b-chat 表现意外较差。
Hugging Face 展示了如何用 ChatHuggingFace 构建 ReAct 智能体,并发布了 smolagents 库。基准测试显示 Mixtral-8x7B-Instruct-v0.1 在工具调用和搜索任务上表现优于 GPT-3.5,而 Llama2-70b-chat 表现意外较差。
IBM Research 与 Hugging Face 合作在 Transformers 库开源了轻量级时间序列模型 PatchTSMixer。该模型基于 MLP-Mixer 架构,支持预测、分类和回归等任务,在预测任务中比 SOTA MLP 和 Transformer 模型提升 8-60%,内存和运行时减少 2-3 倍。
Meta AI 发布的 Wav2Vec2-BERT 是一款 580M 参数音频模型,在低资源 ASR 场景中比 Whisper-large-v3 快 10 到 30 倍。本文演示使用 Hugging Face Transformers 将 facebook/w2v-bert-2.0 微调至蒙古语 ASR 任务,证明其资源效率更高。
Hugging Face 团队实证评估了 DPO、IPO 和 KTO 三种无需强化学习的 LLM 对齐方法。实验在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上进行,发现 IPO 与 DPO 效果持平且优于 KTO。相关代码已开源,关键超参数 β 对结果影响显著。
ONNX Runtime 结合 Olive 工具显著加速了 SD Turbo 和 SDXL Turbo 的推理性能。在 NVIDIA GPU 上,ONNX Runtime 吞吐量最高比 PyTorch 提升 229%(SDXL Turbo)和 120%(SD Turbo)。该方案支持 C# 和 Java,模型优化版本已在 Hugging Face 开放。
Hugging Face 教程指导将 ComfyUI 工作流转换为纯 Python 脚本并构建 Gradio 应用。流程包括使用 ComfyUI-to-Python-Extension 导出代码,并部署至 Hugging Face Spaces 的 ZeroGPU 服务器less 架构。用户可免费运行 Flux[dev] Redux 等工作流,无需本地 GPU 资源。
Vectara 发布基于 Hugging Face 排行榜模板的 HHEM 幻觉评估排行榜。HHEM 是开源模型,用于衡量 LLM 生成文本的幻觉程度。该指南详细说明了如何使用 leaderboard 模板代码搭建支持动态更新的评估系统,包含数据集管理与后端定制步骤。
Hugging Face 团队介绍了由社区开发的轻量级工具 Unsloth,可将 LLM 微调速度提升至 2 倍并降低 40% 内存占用。该工具通过重写 PyTorch 模块为 Triton 内核优化运算,兼容 Llama 和 Mistral 架构,且支持 TRL 训练器套件。
推荐理由:提供可复现的加速微调方案,实测数据清晰展示了显存与速度优化幅度。
Hugging Face 推出基于 Masked Image Model (MIM) 的非扩散文生图模型 aMUSEd。该模型仅含约 800M 参数,推理速度较快,支持通过 LoRA 在 7GB 显存下微调。aMUSEd 采用开放许可,可作为 diffusers 中首个非扩散系统,用于零样图像修复及风格迁移探索。
Hugging Face 演示了如何使用推测解码(Speculative Decoding)在保持模型输出不变的前提下,将 Whisper 语音转写推理速度提升约 2 倍。
推荐理由:原文提供了数学保证输出不变的 2 倍加速原理和 Python 实操,读者可直接复用到现有语音转写流程。
Mistral 发布 Mixtral 8x7b 大语言模型,提供 Apache 2.0 许可。该模型采用 Mixture of Experts 架构,在 MT-Bench 等测试中表现优于 Llama 2 70B,性能接近 GPT-3.5,支持 32k tokens 上下文窗口。
推荐理由:结合基准数据与工程化落地方案,呈现 Mixtral 8x7b 在开放权重模型中的能力层级与部署路径。
Hugging Face 发布技术博客解析混合专家(MoE)模型,以 Mixtral 8x7B 为例拆解 MoE 的路由、稀疏性、训练稳定性和部署优化。文章详细讲解了 Gate 网络的路由逻辑、负载均衡损失,并指出 MoE 在推理时具有更高速度但需要高 VRAM 加载所有参数,微调容易过拟合但适合高频指令调优。
推荐理由:结合 Mixtral 8x7B 的背景,拆解 MoE 的路由、稀疏性、训练稳定性和部署优化逻辑,是掌握大模型架构的实用材料。
Intel Labs 与 Hugging Face 联合推出 SetFitABSA 框架,用于少样本训练领域特定的基于方面的情感分析(ABSA)模型。该框架通过三阶段流程提取方面候选项并分类情感极性,在少样本场景下性能优于 Llama2 和 T5 等生成式模型。SetFitABSA 无需手工提示词,且仅需少量标注样本即可快速训练,显著降低了数据标注成本。
Hugging Face 发布 Optimum-NVIDIA 推理库,支持在 NVIDIA 平台上通过修改一行代码启用 FP8 量化,实现最高 28 倍推理加速和 1200 tokens/s 的吞吐量。
推荐理由:提供了从 Transformers 迁移至 Optimum-NVIDIA 的代码对比,展示了 FP8 量化在降低首字延迟和提升吞吐量方面的具体收益。
Hugging Face 宣布现已支持在 AMD Instinct GPU 上开箱即用地运行所有 Transformers 模型和任务,无需修改任何代码即可替换 NVIDIA GPU 的部署流程。
推荐理由:Hugging Face 和 AMD 给出了在 AMD Instinct GPU 上直接运行 Transformers 模型和部署 TGI 的入口,读者可以据此把现有 NVIDIA 工作流迁移过去。
Hugging Face 通过保持 Stable Diffusion 基础模型常驻内存,并在用户请求时动态切换 LoRA 适配器,将 LoRA 推理速度提升 300%。该方法将服务预热时间从 25 秒降至 3 秒,用户请求响应时间从 35 秒缩短至 13 秒。平台现仅需不到 5 块 A10G GPU 即可支持数百个不同的 LoRA 模型推理,显著节省了计算资源并优化了用户体验。
Hugging Face 宣布在修复前将 DROP 评测基准从 Open LLM Leaderboard 移除。团队排查发现,归一化逻辑在处理数字后带换行符时失效,且以句号作为生成停止词会导致浮点数答案提前截断或优质模型因生成冗长回答而失分。
Hugging Face 与 LCM 团队合作发布 SDXL Latent Consistency LoRAs,使 SDXL 生成步骤从 25 至 50 步降至 4 至 8 步。M1 Max 上生成 1024x1024 图像耗时约 6.5 秒,4090 上不到 1 秒,且可与其他 SDXL LoRA 组合使用。
推荐理由:原文展示了 LCM LoRA 将 SDXL 推理降至 4 步的方法,并提供多组硬件性能基准,便于评估低成本生成效果。
Explosion 推出 Prodigy-HF 插件,实现 Prodigy 标注工具与 Hugging Face 生态的直接集成。用户可通过命令直接微调 BERT 等 Transformer 模型,并支持将标注数据集上传至 Hugging Face Hub 以鼓励协作。
文章对比了 RoBERTa-large(355M 参数)、Llama 2-7B 与 Mistral 7B-v0.1 在灾难推文分类任务中的表现,采用 LoRA 进行参数高效微调,统一最大序列长度为 512 tokens,以探索不同规模模型在序列分类任务中的性能差异。
Hugging Face 博客发布教程,展示如何利用 optimum-neuron 将 Llama 2 模型部署在 AWS Inferentia2 上以加速文本生成。该方案支持 Llama 2 7B 和 13B 模型,预编译版本已上传至 Hugging Face Hub,提供针对延迟和吞吐量的不同配置,用户可通过 Neuron 格式模型直接进行推理。
Hugging Face 在其企业版 Hub 中新增“存储区域”功能,允许用户指定组织内的模型和数据集存储位置。该功能支持美国和欧盟区域,旨在帮助欧盟企业通过本地数据中心部署模型、数据集及推理端点以满足 GDPR 合规要求。对于位于欧洲的团队,将仓库存储在欧盟区域可将上传和下载速度提升约 4 至 5 倍。
Hugging Face 发布教程,演示如何基于 bigcode/starcoder 微调个人代码助手 HugCoder,使用 Hugging Face GitHub 组织公开仓库作为训练数据。
推荐理由:原文完整展示了从 GitHub 仓库提取代码到 QLoRA 与全量微调 StarCoder 的流程,并提供了 1B 模型在本地 M1 芯片运行的可复现步骤。
Renumics Spotlight 允许开发者通过一行代码生成 Hugging Face 数据集的交互式可视化,直接识别数据中的关键聚类。该工具原生支持数据集语义,能结合模型预测结果和嵌入向量,深入分析数据片段及模型失效模式,显著提升了机器学习流程中数据检查的效率与可扩展性。
Hugging Face 团队复现了 OpenAI 的 RLHF 代码库,展示了不同实现细节对模型训练曲线的影响。团队发现 PyTorch 和 TensorFlow 的 Adam 优化器在数值计算上存在差异,导致 PyTorch 的更新更加激进,影响了模型性能。
Hugging Face 测试了提升 SDXL 推理速度与降低内存占用的优化方案。在 A100 GPU 上,结合 fp16、SDPA 及 torch.compile,推理时间从 72.2 秒缩短至 10.2 秒,内存占用从 28GB 降至 21.7GB。
Hugging Face 展示了如何通过 Text Embedding Inference (TEI) 在 Inference Endpoints 上部署开源 Embedding 模型。
Hugging Face 推出 @gradio/lite 库,利用 Pyodide 将 Gradio 应用直接运行在浏览器中,无需服务器基础设施。开发者可用 Python 编写应用,支持通过 micropip 安装 transformers_js_py 等依赖,并可在 Hugging Face Static Space 免费托管。
Hugging Face 平台超 13 万个支持 ONNX 的模型通过 ONNX Runtime 加速以提升性能。 该工具支持 BERT、GPT2 等 90 多种架构,其中 11 种最流行架构均获支持。以 whisper-tiny 模型为例,使用 ONNX Runtime 推理延迟最高比 PyTorch 降低 74.30%。
Hugging Face 在 tokenizer 中新增 chat_template 属性,用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式,使用错误格式会导致严重的性能下降且难以调试,该功能将格式逻辑从代码库移至模型仓库,允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。
推荐理由:文章解释了 Chat template 如何解决格式错配导致的性能衰减问题,并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。
Hugging Face Diffusers 宣布支持通过 JAX 在 Google Cloud TPU v5e 上部署 Stable Diffusion XL,实现高性能且成本高效的推理。
本文演示如何利用 Hugging Face Inference API 部署 AI Comic Factory。
TRL 库新集成了 DDPOTrainer 类,用于将 Denoising Diffusion Policy Optimization (DDPO) 应用于 Stable Diffusion 模型,使其输出更符合人类审美等偏好。
推荐理由:通过 TRL 新集成的 DDPOTrainer,读者可以直接在本地用 RL 微调 Stable Diffusion,降低扩散模型对齐人类偏好的门槛。
教程演示了如何使用 Hugging Face Spaces、AutoTrain 和 ChatUI 在不写代码的情况下,基于 LLaMA 2 7B 微调一个开源 LLM 并部署为可共享的聊天应用。
推荐理由:教程面向零基础读者,演示了如何用 AutoTrain 和 Spaces 微调 LLaMA 2 并部署成聊天应用,适合想了解开源模型部署流程的读者。
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的部署进行了基准测试,分析了超过 60 种配置。测试涵盖 7B、13B 和 70B 模型,结合 GPTQ 量化技术,在 g5 和 p4d 实例上测量延迟与吞吐量,旨在为用户在成本、延迟和吞吐量之间提供最优部署建议。
Hugging Face 推出面向 PRO 订阅用户的 Inference API 服务,通过基于 text-generation-inference 的专属端点,为精选模型提供更高速率限制和更快的推理体验。
推荐理由:Hugging Face 将 Llama 3 和 Mixtral 等热门模型的 API 接入纳入付费订阅,并兼容 OpenAI 调用规范,便于用户直接替换现有代码。
Rocket Money 为替代正则表达式系统以处理交易分类,选择 Hugging Face Inference API 部署 BERT 模型。该系统在缺乏专职 MLOps 团队的情况下,实现了 100M 月交易量的动态扩展与低延迟推理。Hugging Face 快速上线并协助完成负载测试,成为其高可用模型服务的关键合作伙伴。
3D Gaussian Splatting 是一种利用高斯点替代三角形网格的实时光栅化技术,能够从少量图像中学习并渲染照片级真实感场景。该技术将 SfM 点云转化为可训练的高斯参数(位置、协方差、颜色、透明度),通过可微光栅化器进行前向渲染与梯度优化,并利用自动加密(分裂/克隆)和剪枝策略提升细节恢复质量。
推荐理由:基于官方开源实现和 COLMAP 流程,拆解 3D Gaussian Splatting 的网格化训练过程及其在现有渲染管线中的适配限制。
Hugging Face 发布 Object Detection Leaderboard,对 Hub 上的目标检测模型进行排名。该榜单基于 Average Precision 和 Average Recall 指标,深入解析 Intersection over Union 计算方法,并揭示模型评估中的潜在分歧。
Würstchen 是一款采用高度压缩隐空间的扩散图像生成模型,通过 42 倍空间压缩技术显著降低计算成本并提升生成速度。模型 v1 版本的训练成本仅 9,000 GPU 小时,较 Stable Diffusion 1.4 减少 16 倍,现已通过 Diffusers 库开放使用并支持 1024 至 1536 分辨率。
推荐理由:模型通过 42 倍空间压缩实现生成加速,其 9,000 GPU 小时训练成本大幅低于同类技术。