RWKV:融合 Transformer 优势的新型 RNN 架构介绍
Hugging Face 官方发布博客,介绍结合了 RNN 与 Transformer 优势的 RWKV 架构,目前已集成至 transformers 库并支持多种模型规格。
推荐理由:介绍了 RWKV 架构如何融合 RNN 推理效率与 Transformer 长上下文优势,并展示了在 Hugging Face 上的完整使用示例。
内容形态
AI 产品与应用的功能上新、改版与商业化动态——谁家的产品变强了、变贵了、能用了。
98 条精选近 30 天 27 条共收录 328 条
Hugging Face 官方发布博客,介绍结合了 RNN 与 Transformer 优势的 RWKV 架构,目前已集成至 transformers 库并支持多种模型规格。
推荐理由:介绍了 RWKV 架构如何融合 RNN 推理效率与 Transformer 长上下文优势,并展示了在 Hugging Face 上的完整使用示例。
OpenAI 更新 ChatGPT 功能,允许用户关闭聊天历史记录,从而选择哪些对话可用于模型训练。
OpenAI 官方为 ChatGPT 引入了初步的插件支持。这些专为语言模型设计的工具以安全为核心原则,可帮助 ChatGPT 访问最新信息、运行计算任务或使用第三方服务。
推荐理由:官方确认ChatGPT支持插件生态,明确了AI通过工具调用实时获取信息和执行任务的可行性路径。
Hugging Face 官方发布 trl 与 peft 的集成更新,实现资源受限下的 LLM RLHF 微调。通过 8-bit 矩阵乘法和 LoRA 适配器降低显存占用,在 24GB 的 NVIDIA 4090 GPU 上成功微调 20B 参数量的 gpt-neox 模型,展示了消费级硬件参与大规模模型训练的可能性。
推荐理由:将 LoRA 与 8-bit 量化结合,让消费级 GPU 承担 20B 模型微调,为资源有限的团队降低 RLHF 落地门槛。
Hugging Face 发布 PEFT 库,集成 LoRA 和 Prompt Tuning 等技术,与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存,且模型权重仅 19MB 即可保存部署,性能接近全量微调。
推荐理由:官方开源了可插拔的轻量微调库,允许用 MB 级参数文件在消费级显卡上复现全量微调效果,改变了大模型适应下游任务的成本结构。
Hugging Face 在 Transformers 库中实现了微软研发的 SpeechT5 语音模型,支持 TTS、ASR 和语音转换。该模型利用统一的 Transformer 架构,通过在混合数据上预训练并结合不同的前馈层和反向网络来执行多项任务。
推荐理由:通过预训练统一模型架构,展示了语音与文本模态如何共享 Transformer 骨干实现多任务处理。
OpenAI 为 ChatGPT 推出试点订阅计划 ChatGPT Plus。该服务支持 AI 进行对话、回答追问并挑战错误假设。
推荐理由:原文给出了试点订阅服务的基本能力,用户可据此判断付费功能在对话交互上的具体变化。
OpenAI 宣布 DALL·E API 开始接受公开测试。即日起,开发者即可使用该 API 构建应用程序。
OpenAI 官方宣布 DALL·E 现已取消等待名单,新用户可立即开始创建。该变更基于此前部署经验及安全系统的改进实现。
推荐理由:官方宣布 DALL·E 开放入口,基于部署经验与安全改进的可用性变化是核心信息。
Hugging Face 联合 Intel Labs 和 UKP Lab 推出 SetFit 框架,用于 Sentence Transformers 的高效少样本微调。
推荐理由:通过对比不同模型的训练成本与精度,展示了高效微调在少样本场景下的实际可行性。
Hugging Face 官方团队发布 Diffusers 0.3 版本更新。该版本新增了图像到图像生成、Textual Inversion 个性化训练和 Inpainting 图像修复等核心管线。
推荐理由:原文详细介绍了 Diffusers 0.3 版本新增的图像生成管线、低显存优化及 Mac 支持等核心特性,适合开发者和研究者快速掌握最新功能。
Hugging Face 发布技术教程,结合 transformers、accelerate 和 bitsandbytes 库讲解 LLM.int8() 在大模型部署中的应用。文章通过 BLOOM-176B 和 OPT-175B 的测试数据证明,LLM.int8() 能在保持 FP16 推理性能的前提下将显存占用降低 4 倍,且针对小模型(如 T5-3B)的推理延迟优化策略也已同步更新。
推荐理由:Hugging Face 团队详细拆解了 LLM.int8() 的底层原理与集成实践,读者可借此实现大模型低显存推理的落地。
Hugging Face 推出 Private Hub,允许企业在合规的私有环境中运行其完整的机器学习生态系统。该功能集成了 AutoTrain、Spaces 和 Inference API,支持模型微调、演示及推理部署,数据不出内网。更新显示,Private Hub 现已更名为 Enterprise Hub,不再提供本地部署,改为提供云端托管及混合云解决方案,并支持 SSO 等高级访问控制。
推荐理由:介绍了私有化部署方案如何帮助企业加速模型全生命周期开发。
OpenAI 宣布 DALL·E 已开放测试版访问。平台将在未来数周内向候补名单上的 100 万人发送邀请,用户可使用每月自动重置的免费额度生成图像,亦可按 115 次生成计 15 美元的价格购买额外额度。
推荐理由:官方公告说明了 DALL·E 测试版的用户邀请计划与具体计费模式,方便读者了解早期使用成本。
Hugging Face 开源库 Optimum 1.2 新增推理与 transformers pipelines 支持,开发者可直接将 AutoModelForXxx 类替换为 ORTModelForXxx 类并在 ONNX Runtime 上运行。
推荐理由:通过加速问答模型的全流程实操,展示了如何将优化方法迁移至现有的 BERT 级 NLP 任务。
OpenAI 在 API 中推出 embeddings 端点,支持语义搜索、聚类、主题建模和分类等自然语言及代码任务。
推荐理由:该功能为文本和代码任务提供了统一的向量化入口,读者可以据此了解 OpenAI API 在语义检索和分类等场景中的具体应用。
OpenAI 宣布其 API 已无需等待名单即可使用。官方称,这一范围的扩大得益于安全进展。
推荐理由:这是 OpenAI 官方里程碑,读者可据此确认其 API 已全面开放且无需排队申请,并了解开放与模型安全进展挂钩的官方叙事。
OpenAI 官方宣布推出 API,允许开发者接入 OpenAI 开发的新 AI 模型。
推荐理由:官方说明新增了访问 OpenAI 新模型的入口,读者可据此判断如何接入其生成式模型能力。