DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用
OpenAI 宣布 DALL·E 3 在 ChatGPT Plus 和 Enterprise 中可用,并分享了关于安全缓解措施和水印溯源研究的更新。
OpenAI 宣布 DALL·E 3 在 ChatGPT Plus 和 Enterprise 中可用,并分享了关于安全缓解措施和水印溯源研究的更新。
Typeform 利用 GPT-3.5 和 GPT-4 将在线表单升级为动态和对话式数据采集体验。该升级旨在通过集成 OpenAI 模型,使表单能够以对话方式与用户交互,从而优化数据采集流程。
Retool 使用 GPT-4 为业务提供快速、安全的 AI 应用构建方式。
Hugging Face 平台超 13 万个支持 ONNX 的模型通过 ONNX Runtime 加速以提升性能。 该工具支持 BERT、GPT2 等 90 多种架构,其中 11 种最流行架构均获支持。以 whisper-tiny 模型为例,使用 ONNX Runtime 推理延迟最高比 PyTorch 降低 74.30%。
Hugging Face 在 tokenizer 中新增 chat_template 属性,用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式,使用错误格式会导致严重的性能下降且难以调试,该功能将格式逻辑从代码库移至模型仓库,允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。
推荐理由:文章解释了 Chat template 如何解决格式错配导致的性能衰减问题,并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。
Hugging Face Diffusers 宣布支持通过 JAX 在 Google Cloud TPU v5e 上部署 Stable Diffusion XL,实现高性能且成本高效的推理。
TRL 库新集成了 DDPOTrainer 类,用于将 Denoising Diffusion Policy Optimization (DDPO) 应用于 Stable Diffusion 模型,使其输出更符合人类审美等偏好。
推荐理由:通过 TRL 新集成的 DDPOTrainer,读者可以直接在本地用 RL 微调 Stable Diffusion,降低扩散模型对齐人类偏好的门槛。
OpenAI 宣布 ChatGPT 现具备视觉、听觉和语音交互功能。
Hugging Face 推出面向 PRO 订阅用户的 Inference API 服务,通过基于 text-generation-inference 的专属端点,为精选模型提供更高速率限制和更快的推理体验。
推荐理由:Hugging Face 将 Llama 3 和 Mixtral 等热门模型的 API 接入纳入付费订阅,并兼容 OpenAI 调用规范,便于用户直接替换现有代码。
Hugging Face 发布的企业级代码助手 SafeCoder 基于 StarCoder 模型,提供透明度、定制性与隐私保护,区别于 GitHub Copilot 等闭源服务。
Diffusers 团队与作者合作,在 Diffusers 中实现了 Stable Diffusion XL (SDXL) 对 T2I-Adapter 的支持。
OpenAI 发布了针对教师的 ChatGPT 使用指南。该指南包含建议的提示词、ChatGPT 的工作原理及局限性说明,并讨论了 AI 检测工具的有效性和模型偏见问题。
OpenAI 推出 ChatGPT Enterprise,提供企业级安全与隐私保护,并搭载迄今功能最强大的 ChatGPT 版本。
Hugging Face 发布 Code Llama 家族模型,提供 7B、13B 和 34B 参数版本及其 Python 特化与指令微调变体。基于 Llama 2 并经过 500B tokens 代码数据训练,支持 16k 上下文扩展至 100k。
推荐理由:展示了 Code Llama 在 Hugging Face 生态中的完整部署与微调路径,为工程师提供了可复用的生产级工具链。
Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。
推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。
Hugging Face 推出针对企业的端到端代码助手解决方案 SafeCoder,提供自托管部署,基于 StarCoder 模型构建,支持 NVIDIA、AMD 等硬件加速推理,确保代码在训练和推理过程中不离开客户 VPC,解决合规与安全问题。
OpenAI 使用 GPT-4 进行内容政策制定和内容审核决策。这一做法实现了更一致的标签标注,加快了政策优化的反馈循环,并减少了人工审核员的参与。
Hugging Face Hub 已上线 AWS Marketplace,允许用户通过 AWS 账户直接订阅并支付 Hugging Face 服务费用。此举将 Inference Endpoints、Spaces 硬件升级及 AutoTrain 等服务整合至 AWS 账单中,方便企业统一支付 Llama 2 等模型相关服务的费用,无需单独使用信用卡。
Hugging Face 发布名为 Swift Transformers 的 Swift 包和配套工具链,支持在 Apple 设备本地运行 Llama 2、Falcon 等 LLM。工具包含 swift-transformers 库、swift-chat 示例 App、以及更新后的 exporters 和 transformers-to-coreml 转换工具。
Hugging Face 团队利用机器学习检测 Hub 中缺失语言元数据的 Dataset 语言,并通过 librarian-bots 自动提交 Pull Request 补充信息。实验使用 Meta 发布的 fastText 模型识别 217 种语言,目前 Hub 上约 87% 的公开 Dataset 未指定语言,该项目旨在提升特定语言 Dataset 的可发现性。
Hugging Face 发布新库 Agents.js,允许在浏览器或服务器端通过 JavaScript 为 LLM 提供工具访问。该库默认使用 OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5 模型,并内置多模态工具,支持通过 npm 安装扩展自定义 LLM 和工具。
OpenAI 推出 ChatGPT 自定义指令功能,允许用户设定偏好并让模型在后续对话中记住这些设置。
推荐理由:原文说明新增功能允许用户设定偏好,使 ChatGPT 在后续对话中自动应用这些设定。
Viable 使用 GPT-4 以革命性规模分析定性数据,具有无与伦比的准确性。
OpenAI 宣布 API 模型更新,新增函数调用功能,支持更长上下文窗口,并降低使用价格。此次更新旨在提供更具可操作性的 API 模型,优化开发者体验。
OpenAI 通过赠款及其他支持措施,旨在促进防守方开发基于 AI 的网络安全能力。该计划致力于帮助安全防御领域利用人工智能技术提升防御水平。
OpenAI 发布 ChatGPT 的 iOS 应用,支持对话同步、语音输入,并集成了最新的模型改进。
推荐理由:原文说明 ChatGPT iOS 应用同步对话和语音输入,方便读者了解移动端功能更新。
Intel 与 Hugging Face 合作展示 Q8-Chat,利用 SmoothQuant 技术将 LLM 量化为 8 位整数,在 Intel Xeon CPU 上实现高效推理。 该方案使模型体积缩小约 2 倍,显著降低推理延迟,MPT-7B-chat 模型在 32 核 CPU 上即可实现实时文本生成。 这为组织提供了比高端 GPU 更具成本效益的 LLM 部署选项,提升了 IT 灵活性。
Hugging Face 官方发布博客,介绍结合了 RNN 与 Transformer 优势的 RWKV 架构,目前已集成至 transformers 库并支持多种模型规格。
推荐理由:介绍了 RWKV 架构如何融合 RNN 推理效率与 Transformer 长上下文优势,并展示了在 Hugging Face 上的完整使用示例。
Databricks 向 Hugging Face 代码库提交首个官方版本,支持通过新函数 `from_spark` 直接从 Apache Spark 数据帧创建 Hugging Face 数据集。
OpenAI 更新 ChatGPT 功能,允许用户关闭聊天历史记录,从而选择哪些对话可用于模型训练。
Hugging Face 推出面向中文用户的官方博客(hf.co/blog/zh),由志愿者翻译了关于 Transformer、扩散模型和强化学习等主题的博文及课程,旨在服务不断壮大的中国 AI 社区并促进协作。
AWS Inferentia2 推理加速器使 Hugging Face Transformers 的延迟平均降低 4.5 倍,吞吐量提升 4 倍,超越了 NVIDIA A10G GPU 和 Inferentia1 的性能。
Snorkel AI 与 Hugging Face 合作,通过集成 Hugging Face Inference Endpoint 服务增强 Snorkel Flow 平台功能。该集成支持用户灵活调用超过 150,000 个开源模型,并提供“暂停与恢复”的模型 API 能力,帮助企业以可控成本将基础模型应用于生产环境。
OpenAI 官方为 ChatGPT 引入了初步的插件支持。这些专为语言模型设计的工具以安全为核心原则,可帮助 ChatGPT 访问最新信息、运行计算任务或使用第三方服务。
推荐理由:官方确认ChatGPT支持插件生态,明确了AI通过工具调用实时获取信息和执行任务的可行性路径。
Be My Eyes 采用 GPT-4 模型来变革视觉无障碍领域。该系统借助 GPT-4 的能力改进视障人士获取视觉信息的方式。原文未提供 GPT-4 在此应用中的具体参数规模、性能基准或可用性细节。
GPT-4 通过深入对话填补 Duolingo 平台上的语言学习缺口。该功能增强了 Duolingo 的互动式学习体验,利用大语言模型能力提升用户的学习效果与参与度。
Hugging Face 官方发布 trl 与 peft 的集成更新,实现资源受限下的 LLM RLHF 微调。通过 8-bit 矩阵乘法和 LoRA 适配器降低显存占用,在 24GB 的 NVIDIA 4090 GPU 上成功微调 20B 参数量的 gpt-neox 模型,展示了消费级硬件参与大规模模型训练的可能性。
推荐理由:将 LoRA 与 8-bit 量化结合,让消费级 GPU 承担 20B 模型微调,为资源有限的团队降低 RLHF 落地门槛。
Hugging Face 在 Diffusers 库文档中发布了伦理框架,旨在指导维护者处理社区贡献并明确决策价值观。 该框架确立了透明、一致、简洁、可及、可复现及负责任六大核心原则。同时,团队与安全社区合作实施了多项安全机制,包括内容标签、偏见评估工具、Safe Stable Diffusion 以及 OpenRAILs 许可协议,以降低技术应用风险。
Hugging Face 发布了 Swift 编写的 Mac 原生应用 Diffusers,可将社区文本生成图像模型转换为 Core ML 格式,利用 GPU 或 Neural Engine 实现本地生图。最新 1.1 版本在 Mac App Store 上线,性能较前版显著提升且生成速度最高可达两倍。
Hugging Face 发布 PEFT 库,集成 LoRA 和 Prompt Tuning 等技术,与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存,且模型权重仅 19MB 即可保存部署,性能接近全量微调。
推荐理由:官方开源了可插拔的轻量微调库,允许用 MB 级参数文件在消费级显卡上复现全量微调效果,改变了大模型适应下游任务的成本结构。