ChatGPT 支持视觉、听觉和语音交互
OpenAI 宣布 ChatGPT 现具备视觉、听觉和语音交互功能。
内容形态
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
185 条精选近 30 天 99 条共收录 1,298 条
OpenAI 宣布 ChatGPT 现具备视觉、听觉和语音交互功能。
Hugging Face 推出面向 PRO 订阅用户的 Inference API 服务,通过基于 text-generation-inference 的专属端点,为精选模型提供更高速率限制和更快的推理体验。
推荐理由:Hugging Face 将 Llama 3 和 Mixtral 等热门模型的 API 接入纳入付费订阅,并兼容 OpenAI 调用规范,便于用户直接替换现有代码。
OpenAI 发布了针对教师的 ChatGPT 使用指南。该指南包含建议的提示词、ChatGPT 的工作原理及局限性说明,并讨论了 AI 检测工具的有效性和模型偏见问题。
Hugging Face 发布 Code Llama 家族模型,提供 7B、13B 和 34B 参数版本及其 Python 特化与指令微调变体。基于 Llama 2 并经过 500B tokens 代码数据训练,支持 16k 上下文扩展至 100k。
推荐理由:展示了 Code Llama 在 Hugging Face 生态中的完整部署与微调路径,为工程师提供了可复用的生产级工具链。
Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。
推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。
OpenAI 推出 ChatGPT 自定义指令功能,允许用户设定偏好并让模型在后续对话中记住这些设置。
推荐理由:原文说明新增功能允许用户设定偏好,使 ChatGPT 在后续对话中自动应用这些设定。
OpenAI 发布 ChatGPT 的 iOS 应用,支持对话同步、语音输入,并集成了最新的模型改进。
推荐理由:原文说明 ChatGPT iOS 应用同步对话和语音输入,方便读者了解移动端功能更新。
Hugging Face 官方发布博客,介绍结合了 RNN 与 Transformer 优势的 RWKV 架构,目前已集成至 transformers 库并支持多种模型规格。
推荐理由:介绍了 RWKV 架构如何融合 RNN 推理效率与 Transformer 长上下文优势,并展示了在 Hugging Face 上的完整使用示例。
OpenAI 更新 ChatGPT 功能,允许用户关闭聊天历史记录,从而选择哪些对话可用于模型训练。
OpenAI 官方为 ChatGPT 引入了初步的插件支持。这些专为语言模型设计的工具以安全为核心原则,可帮助 ChatGPT 访问最新信息、运行计算任务或使用第三方服务。
推荐理由:官方确认ChatGPT支持插件生态,明确了AI通过工具调用实时获取信息和执行任务的可行性路径。
Hugging Face 官方发布 trl 与 peft 的集成更新,实现资源受限下的 LLM RLHF 微调。通过 8-bit 矩阵乘法和 LoRA 适配器降低显存占用,在 24GB 的 NVIDIA 4090 GPU 上成功微调 20B 参数量的 gpt-neox 模型,展示了消费级硬件参与大规模模型训练的可能性。
推荐理由:将 LoRA 与 8-bit 量化结合,让消费级 GPU 承担 20B 模型微调,为资源有限的团队降低 RLHF 落地门槛。
Hugging Face 发布 PEFT 库,集成 LoRA 和 Prompt Tuning 等技术,与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存,且模型权重仅 19MB 即可保存部署,性能接近全量微调。
推荐理由:官方开源了可插拔的轻量微调库,允许用 MB 级参数文件在消费级显卡上复现全量微调效果,改变了大模型适应下游任务的成本结构。
Hugging Face 在 Transformers 库中实现了微软研发的 SpeechT5 语音模型,支持 TTS、ASR 和语音转换。该模型利用统一的 Transformer 架构,通过在混合数据上预训练并结合不同的前馈层和反向网络来执行多项任务。
推荐理由:通过预训练统一模型架构,展示了语音与文本模态如何共享 Transformer 骨干实现多任务处理。
OpenAI 为 ChatGPT 推出试点订阅计划 ChatGPT Plus。该服务支持 AI 进行对话、回答追问并挑战错误假设。
推荐理由:原文给出了试点订阅服务的基本能力,用户可据此判断付费功能在对话交互上的具体变化。
OpenAI 宣布 DALL·E API 开始接受公开测试。即日起,开发者即可使用该 API 构建应用程序。
OpenAI 官方宣布 DALL·E 现已取消等待名单,新用户可立即开始创建。该变更基于此前部署经验及安全系统的改进实现。
推荐理由:官方宣布 DALL·E 开放入口,基于部署经验与安全改进的可用性变化是核心信息。
Hugging Face 联合 Intel Labs 和 UKP Lab 推出 SetFit 框架,用于 Sentence Transformers 的高效少样本微调。
推荐理由:通过对比不同模型的训练成本与精度,展示了高效微调在少样本场景下的实际可行性。
Hugging Face 官方团队发布 Diffusers 0.3 版本更新。该版本新增了图像到图像生成、Textual Inversion 个性化训练和 Inpainting 图像修复等核心管线。
推荐理由:原文详细介绍了 Diffusers 0.3 版本新增的图像生成管线、低显存优化及 Mac 支持等核心特性,适合开发者和研究者快速掌握最新功能。
Hugging Face 发布技术教程,结合 transformers、accelerate 和 bitsandbytes 库讲解 LLM.int8() 在大模型部署中的应用。文章通过 BLOOM-176B 和 OPT-175B 的测试数据证明,LLM.int8() 能在保持 FP16 推理性能的前提下将显存占用降低 4 倍,且针对小模型(如 T5-3B)的推理延迟优化策略也已同步更新。
推荐理由:Hugging Face 团队详细拆解了 LLM.int8() 的底层原理与集成实践,读者可借此实现大模型低显存推理的落地。
Hugging Face 推出 Private Hub,允许企业在合规的私有环境中运行其完整的机器学习生态系统。该功能集成了 AutoTrain、Spaces 和 Inference API,支持模型微调、演示及推理部署,数据不出内网。更新显示,Private Hub 现已更名为 Enterprise Hub,不再提供本地部署,改为提供云端托管及混合云解决方案,并支持 SSO 等高级访问控制。
推荐理由:介绍了私有化部署方案如何帮助企业加速模型全生命周期开发。