Hugging Face 推出合成数据生成器:通过自然语言构建数据集
Hugging Face 推出合成数据生成器,允许用户通过自然语言描述无代码创建自定义数据集。该工具支持文本分类和聊天数据集生成,底层由 distilabel 和免费的 Hugging Face text-generation API 驱动,并可与 Argilla 集成进行数据审查。
Hugging Face 推出合成数据生成器,允许用户通过自然语言描述无代码创建自定义数据集。该工具支持文本分类和聊天数据集生成,底层由 distilabel 和免费的 Hugging Face text-generation API 驱动,并可与 Argilla 集成进行数据审查。
PaliGemma 2 是由 Google 推出的新一版视觉语言模型,文章作为官方发布介绍。
Mistral AI 正式发布 Mistral NeMo 12B,该模型由 NVIDIA 协助构建,提供最高 128k tokens 的上下文窗口。模型采用 Apache 2.0 协议开源,在推理、世界知识和编程能力上达到同规模 SOTA 水平。
推荐理由:Mistral NeMo 12B 引入 128k 上下文和新 tokenizer Tekken,性能超越同类开源模型且支持 FP8 推理,适合多语言业务部署。
Hugging Face 与 Microsoft 宣布深化战略合作,在 Azure 上扩展开放模型支持并提升部署体验。
Hugging Face 在 Transformers 中新增 KV Cache 量化功能,可将 key-value cache 压缩至 int2 至 int8,在 Llama2-7b-chat 上 int4 精度相比 fp16 在 LongBench 等基准上基本无损,同时显著降低显存占用。
Hugging Face 与 LangChain 联合推出 Python 包 langchain-huggingface,旨在将 Hugging Face 生态最新功能高效整合至 LangChain 并持续更新。
Google 发布开源视觉语言模型 PaliGemma,架构结合 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器。模型在 Hugging Face 提供预训练(pt)、混合任务微调(mix)及特定基准微调(ft)三种类型,支持 224x224 至 896x896 分辨率与多种精度。
推荐理由:PaliGemma提供预训练与微调混合权重,适合在多模态任务中复用SigLIP加Gemma的组合流程。
Hugging Face 发布了 Transformers Agents 2.0,引入支持迭代观察的新智能体结构,并强调代码的模块化与工具使用的透明性。基于该框架、以 Llama-3-70B-Instruct 为底层的智能体在 GAIA 基准测试中表现优于多个 GPT-4 基智能体,取得榜单第四名,目前处于开源类最佳位置。
推荐理由:官方开源框架 smolagents 引入了能迭代观察的多智能体结构,Llama-3 在 GAIA 榜单上表现优于 GPT-4 智能体。
利用 Intel Gaudi 2 加速器和 Xeon CPU 可高效构建企业 RAG 应用。嵌入模型在支持 AMX-FP16 指令集的 Xeon 上运行,LLM 在 Gaudi 2 上通过 TGI 部署。启用 FP8 量化推理可获得 1.8 倍吞吐量提升。
Hugging Face 正式引入 Artificial Analysis 开发的 LLM 性能榜单,该榜单覆盖 100 多个 LLM API 端点,统一提供模型质量、价格、吞吐量与延迟指标。
推荐理由:原文将价格、速度与质量指标整合在单一榜单中,AI 工程师可据此在应用设计阶段对推理成本与延迟做出更具体的权衡。
Hugging Face Inference Endpoints 支持部署 Whisper 进行自动语音识别,并集成 Pyannote 模型实现说话人分离及推测解码加速。该自定义推理处理器允许通过单个 API 端点组合 ASR 与分离功能,其中推测解码要求辅助模型解码器架构一致且批大小为 1。配置通过环境变量指定模型参数,分离功能需显式传递 HF_TOKEN 以确保安全。
Hugging Face 与 Dottxt 团队在博客中展示,利用结构生成(Outlines 库)可显著提升 LLM 评测的跨 Prompt 一致性并提高平均得分。
Hugging Face 和 BigCode 团队发布 StarCoder2-15B-Instruct-v0.1,这是一个完全基于自生成数据(self-aligned)训练的代码语言模型,其 HumanEval 得分达 72.6。该模型训练过程完全透明,不依赖 GPT-4 等专有模型的蒸馏数据,并已在 LiveCodeBench 上展现出优于使用 GPT-4 蒸馏数据微调模型的代码生成能力。
推荐理由:该模型完全通过自生成数据实现指令微调,证明不依赖外部教师模型也能获得强代码能力,并开源了全流程。
Hugging Face 发布开放链式思维排行榜(Open CoT Leaderboard),专门评估大语言模型在推理任务中生成有效链式思维(CoT)轨迹的能力。
Hugging Face 发布开源多用途 Transformer 智能体 Jack of All Trades (JAT),支持玩电子游戏、控制机器人及执行导航任务。
Hugging Face 发布 Open Medical-LLM Leaderboard,通过 MedQA、MedMCQA、PubMedQA 及 MMLU 医学子集标准化评测 LLM 医疗能力。
Meta 发布开源 Llama 3,提供 8B 和 70B 参数的 base 及 instruct-tuned 版本,并配套发布安全微调模型 Llama Guard 2。
推荐理由:提供了 Llama 3 的完整评测数据与 Hugging Face 生态集成指南,方便开发者快速部署和微调该模型。
Zama 团队通过 Hugging Face Endpoints 和自定义推理处理器部署了预编译的 Concrete ML 模型,支持在加密数据上直接计算而不暴露明文。用户可使用预编译模型如 concrete-ml-encrypted-decisiontree 进行隐私保护推理,仅需 CPU 即可运行,当前强制要求 Python 3.10 环境。
Ryght 正式启动 Ryght Preview,这款面向医疗和生命科学领域的企业级生成式 AI 平台现已公开可用。
Hugging Face 发布基于 UC Berkeley 等机构研发的 LiveCodeBench 的排行榜。该基准通过标注题目发布时间,利用“时间滚动”策略检测并防止数据污染。LiveCodeBench 涵盖代码生成、自我修复等四项场景,使用 Pass@1 指标进行评估,其中 GPT-4-Turbo 在多数场景表现最佳。
Gradio 的 Reload Mode 允许在不重启服务器的情况下实时加载代码变更,适用于快速开发 AI 应用。该模式通过自定义逻辑实现选择性重载,例如使用 gr.NO_RELOAD 标记代码块,避免重新加载耗时的大模型或数据库连接。
Hugging Face 发布 Idefics2,一个 8B 参数量的通用多模态视觉语言模型,支持输入文本与图像序列并生成文本响应,Apache 2.0 开源。
推荐理由:Idefics2 采用 Apache 2.0 协议开源 8B 多模态模型,并提供配套微调数据 The Cauldron,为多模态社区提供了易用的基础与工具。
Hugging Face 博客解析视觉语言模型(VLM)架构原理,介绍 LLaVA、Qwen-VL 等主流开源模型及其应用场景。指南详细说明了如何使用 transformers 库进行推理,并利用 TRL 的 SFTTrainer 在 llava-instruct 数据集上对 VLM 进行指令微调的完整流程。
推荐理由:提供VLM结构与微调指南,并给出基于TRL的完整代码示例,帮助降低多模态模型使用门槛。
Hugging Face 推出 Google Cloud 集成,允许将数千个开源基础模型通过 Vertex AI 或 GKE 部署。支持带有“text-generation-inference”标签的模型,开发者可一键生成生产级 API 端点。数百个热门开源 LLM 提供预配置硬件方案,无需管理基础设施即可在 Google Cloud 环境中构建生成式 AI 应用。
Google 发布了 CodeGemma 模型,包含 2B、7B 和 7B Instruct 三种版本,专为代码生成、补全和推理设计。CodeGemma 7B 在 Python、JavaScript 和 C++ 的 HumanEval 评测中表现优于其他 7B 模型,但在中文代码方面尚未测试。
推荐理由:三个模型直接开源可下载,附 transformers 代码和量化部署方案,方便读者在本地复现。
MotherDuck 和 Numbers Station 发布基于 Meta Llama-2-7B 微调的 DuckDB-NSQL-7B 模型,旨在生成 DuckDB SQL 语句。
Hugging Face 宣布与云安全公司 Wiz 建立合作伙伴关系,旨在提升平台及整个 AI/ML 生态系统的安全性。Wiz 研究人员发现 Hugging Face 沙箱计算环境通过 pickle 执行任意代码的漏洞,该问题已修复。Hugging Face 集成了 Wiz 漏洞管理工具,并联合 Microsoft 开发 Picklescan,同时推广 Safetensors 作为安全替代方案。
SetFit 在 Intel Xeon CPU 上通过 🤗 Optimum Intel 的量化技术实现了 7.8 倍推理加速,支持生产级部署。 该方案利用 Optimum Intel 库(版本需 ≥1.14.0)执行后训练静态量化,结合 AVX-512 和 AMX 指令集优化模型运行效率。
Hugging Face 推出与 Cloudflare Workers AI 的新集成,开发者可通过按请求付费的方式,在全球边缘 GPU 上运行热门开源模型。该功能支持 Meta Llama 2 7B、Mistral 7B 等模型,用户可在模型页面直接选择部署并通过 REST API 或 Cloudflare AI SDK 发起请求。
推荐理由:将热门开源模型集成至 Cloudflare 无服务器推理平台,开发者可按请求付费运行。
Pollen Robotics 团队发布开源 pollen-vision 库,该工具包整合了 OWL-VIT、Mobile SAM 和 RAM 等零样本视觉模型,旨在让机器人无需训练即可抓取未知物体。当前版本聚焦于 3D 物体检测,能通过相机内参计算物体在 3D 空间中的 (x, y, z) 坐标,但尚未支持 6D 姿态估计。
Hugging Face 发布了一份面向非技术背景读者的 Transformers 入门指南,旨在帮助零基础用户理解开源机器学习的基本概念。该教程以在 Hugging Face Space 的 JupyterLab 笔记本中运行微软 Phi-2 大语言模型为例,演示了如何配置 NVIDIA A10G GPU 环境并部署模型。
Hugging Face 团队提出嵌入量化方法,展示二进制和标量(int8)量化如何显著降低检索的内存、磁盘空间和成本。
推荐理由:原文给出了二进制与标量嵌入量化对检索速度、内存和成本的影响,并附上可复用的 Sentence Transformers 量化方法。
Lighthouz AI 联合 Hugging Face 发布 Chatbot Guardrails Arena,旨在压力测试大语言模型及隐私护栏抵御数据泄露的能力。
GaLore 利用梯度低秩结构实现显存高效的大语言模型全参数训练,将优化器状态显存降低 82.5% 以上。该方法支持结合 8-bit 优化器,使 7B 参数模型能在 NVIDIA RTX 4090 等消费级 GPU 上完成训练。
Hugging Face 发布了名为 Cosmopedia 的 250 亿 token 合成数据集及配套的 1B 规模模型 cosmo-1b,旨在通过完全开源的端到端流程复现 Microsoft Phi-1.5 的数据集。
推荐理由:原文公开了 250 亿 token 数据集的完整生成链路和 1B 模型评测,读者可据此复现或改进合成数据预训练方法。
Hugging Face 发布在 Intel Meteor Lake 笔记本上运行 Phi-2 的方案,使用 Intel OpenVINO 和 Optimum Intel 对 microsoft/phi-2 做4-bit 权重量化,再运行在搭载 Core Ultra 7 155H 的中端笔记本上。
Hugging Face 与 NVIDIA 联合推出 Train on DGX Cloud 服务,允许 Enterprise Hub 用户通过无代码界面在 Hugging Face Hub 上微调 Llama、Mistral 等模型。该服务提供 NVIDIA H100 GPU 算力,按小时计费为 $8.25,支持 1 至 8 块实例配置,训练后的模型将自动上传至私有仓库。
Hugging Face 推出 PyTorch 量化后端 Quanto,作为 Optimum 的组件支持 int8、int4、int2 及 float8 权重与激活量化。
Hugging Face 演示如何利用 Optimum Intel 库加速 BGE 嵌入模型在 Intel Xeon CPU 上的推理性能,提升检索增强生成效率。该方案支持量化与低比特优化,利用 AVX-512、VNNI 及 AMX 指令集降低延迟并提高吞吐量。
Hugging Face 开源了 WebSight-v0.2 数据集及微调模型 Sightseer,旨在利用视觉语言模型将网页截图转换为 HTML 代码。该数据集包含 200 万个合成示例,相比 v0.1 版本采用了真实图像和 Tailwind CSS,显著提升了数据质量。Sightseer 模型基于此微调,能够生成包含图像的功能性 HTML,致力于简化 UI 设计到代码的转化流程。