通过 Claude 和 Hugging Face 生成图像
Claude 可连接 Hugging Face Spaces 以利用最新模型生成详细图像。通过集成 Hugging Face MCP Server,用户可以启用 FLUX.1 Krea Dev 生成逼真自然图像,或使用 Qwen-Image 实现精准的文本渲染。账户提供免费额度使用这些模型,且便于在不同模型间切换。
Claude 可连接 Hugging Face Spaces 以利用最新模型生成详细图像。通过集成 Hugging Face MCP Server,用户可以启用 FLUX.1 Krea Dev 生成逼真自然图像,或使用 Qwen-Image 实现精准的文本渲染。账户提供免费额度使用这些模型,且便于在不同模型间切换。
Diffusers 结合 PEFT 发布针对 Flux 图像生成模型的 LoRA 快速推理优化方案,通过 Flash Attention 3、torch.compile、FP8 量化以及新的 LoRA 热交换机制避免重编译问题,在 H100 上实现 2.23 倍加速。
Gradio 应用自 v5.28.0 起支持 MCP 协议,使 Hugging Face Spaces 成为数千个 AI 工具的“应用商店”。文章以 Flux.1 Kontext[dev] 为例,演示了如何将该模型作为 MCP 服务器接入 Cursor 等客户端,实现通过自然语言指令进行图像编辑的功能。
Hugging Face 发布教程,指导使用 diffusers 库和 QLoRA 技术在单卡消费级硬件(如 RTX 4090)上微调 FLUX.1-dev 模型,峰值显存占用低于 10 GB。
推荐理由:文章提供了在消费级硬件上微调FLUX.1-dev的具体代码流程和显存优化技巧,读者可直接复用该方案降低部署门槛。
ChatGPT 图像生成功能支持通过提示词、草图或上传图片创建品牌视觉及产品模型。 该功能旨在帮助用户快速生成符合品牌规范的视觉素材,简化设计流程。
Hugging Face 在 Inference Endpoints 中试点远程 VAE 解码功能,通过 Diffusers 开放源代码将解码过程委托至远程端点,以减少消费级 GPU 上的内存占用并规避离载或平铺带来的延迟与质量损失。
Hugging Face 开源了 WebSight-v0.2 数据集及微调模型 Sightseer,旨在利用视觉语言模型将网页截图转换为 HTML 代码。该数据集包含 200 万个合成示例,相比 v0.1 版本采用了真实图像和 Tailwind CSS,显著提升了数据质量。Sightseer 模型基于此微调,能够生成包含图像的功能性 HTML,致力于简化 UI 设计到代码的转化流程。
Segmind 推出 SegMoE 框架,支持从头创建扩散模型专家混合(MoE)架构,并集成于 Hugging Face 生态系统。该框架提供 Apache 2.0 许可的开源模型及代码,允许用户通过配置多个专家模型来构建自定义 MoE 扩散模型,显著提升了提示词理解能力。
ONNX Runtime 结合 Olive 工具显著加速了 SD Turbo 和 SDXL Turbo 的推理性能。在 NVIDIA GPU 上,ONNX Runtime 吞吐量最高比 PyTorch 提升 229%(SDXL Turbo)和 120%(SD Turbo)。该方案支持 C# 和 Java,模型优化版本已在 Hugging Face 开放。
Hugging Face 教程指导将 ComfyUI 工作流转换为纯 Python 脚本并构建 Gradio 应用。流程包括使用 ComfyUI-to-Python-Extension 导出代码,并部署至 Hugging Face Spaces 的 ZeroGPU 服务器less 架构。用户可免费运行 Flux[dev] Redux 等工作流,无需本地 GPU 资源。
Hugging Face 推出基于 Masked Image Model (MIM) 的非扩散文生图模型 aMUSEd。该模型仅含约 800M 参数,推理速度较快,支持通过 LoRA 在 7GB 显存下微调。aMUSEd 采用开放许可,可作为 diffusers 中首个非扩散系统,用于零样图像修复及风格迁移探索。
Hugging Face 团队发布了一份关于 SDXL Dreambooth LoRA 微调的最佳实践指南,整合了 Pivotal Tuning 技术和 Prodigy 优化器以显著提升训练效果。
推荐理由:原文提供了一套结合 Pivotal Tuning 和 Prodigy 优化器的 SDXL LoRA 训练实践指南,并附带了可运行的训练脚本与推理方法。
Hugging Face 通过保持 Stable Diffusion 基础模型常驻内存,并在用户请求时动态切换 LoRA 适配器,将 LoRA 推理速度提升 300%。该方法将服务预热时间从 25 秒降至 3 秒,用户请求响应时间从 35 秒缩短至 13 秒。平台现仅需不到 5 块 A10G GPU 即可支持数百个不同的 LoRA 模型推理,显著节省了计算资源并优化了用户体验。
Hugging Face 与 LCM 团队合作发布 SDXL Latent Consistency LoRAs,使 SDXL 生成步骤从 25 至 50 步降至 4 至 8 步。M1 Max 上生成 1024x1024 图像耗时约 6.5 秒,4090 上不到 1 秒,且可与其他 SDXL LoRA 组合使用。
推荐理由:原文展示了 LCM LoRA 将 SDXL 推理降至 4 步的方法,并提供多组硬件性能基准,便于评估低成本生成效果。
Hugging Face 测试了提升 SDXL 推理速度与降低内存占用的优化方案。在 A100 GPU 上,结合 fp16、SDPA 及 torch.compile,推理时间从 72.2 秒缩短至 10.2 秒,内存占用从 28GB 降至 21.7GB。
OpenAI 宣布 DALL·E 3 在 ChatGPT Plus 和 Enterprise 中可用,并分享了关于安全缓解措施和水印溯源研究的更新。
本文演示如何利用 Hugging Face Inference API 部署 AI Comic Factory。
TRL 库新集成了 DDPOTrainer 类,用于将 Denoising Diffusion Policy Optimization (DDPO) 应用于 Stable Diffusion 模型,使其输出更符合人类审美等偏好。
推荐理由:通过 TRL 新集成的 DDPOTrainer,读者可以直接在本地用 RL 微调 Stable Diffusion,降低扩散模型对齐人类偏好的门槛。
Würstchen 是一款采用高度压缩隐空间的扩散图像生成模型,通过 42 倍空间压缩技术显著降低计算成本并提升生成速度。模型 v1 版本的训练成本仅 9,000 GPU 小时,较 Stable Diffusion 1.4 减少 16 倍,现已通过 Diffusers 库开放使用并支持 1024 至 1536 分辨率。
推荐理由:模型通过 42 倍空间压缩实现生成加速,其 9,000 GPU 小时训练成本大幅低于同类技术。
Diffusers 团队与作者合作,在 Diffusers 中实现了 Stable Diffusion XL (SDXL) 对 T2I-Adapter 的支持。
本文演示了利用开源平台 BentoML 部署 Hugging Face 上开源文生图模型 DeepFloyd IF 的完整流程。DeepFloyd IF 直接在像素空间工作,采用级联扩散模块将图像从 64x64 px 逐步放大至 1024x1024 px。用户可通过定义 Service、打包 Bento 并容器化,将其部署到 Kubernetes 或 Yatai 以实现生产环境服务。
该指南介绍利用生成式AI制作PS1风格3D资产的七步工作流。使用开源模型Shap-E将文本生成3D模型,在Blender 3.1中通过Decimate修改器降低多边形数量,并安装Dream Textures插件基于Stable Diffusion生成无缝纹理。最终完成UV映射并导出FBX格式,导入Unity后可通过顶点光照和特效呈现复古美学,展示了低保真3D生成的实际可行性。
Segmind 开源了 SD-Small 和 SD-Tiny 模型的知识蒸馏代码及预训练权重。这两个压缩模型分别比基础模型减少 35% 和 55% 的参数,推理速度最高提升 100%,且输出图像保真度可比。目前模型处于早期阶段,更适合用于特定概念或风格的微调及 LoRA 训练。
Hugging Face 与 Apple 合作实现 Stable Diffusion XL 在 Apple Silicon Mac 上的本地运行,通过混合位调色(Mixed-Bit Palettization)技术将 UNet 模型压缩至等效 4.5 bit/参数,体积从 4.8 GB 降至 1.4 GB(减少71%)且生成质量优良。
推荐理由:介绍了混合位调色量化技术,可将模型尺寸降低71%且保持质量,为本地化部署提供了实用方法。
本教程展示了如何利用 Intel Sapphire Rapids CPU 上的 AMX 硬件加速器,在纯 CPU 集群上微调 Stable Diffusion 模型。该过程使用 textual inversion 技术,仅通过 5 张示例图像即可完成训练,无需 GPU 基础设施。
教程演示如何使用 Transformers.js 在浏览器中完全本地运行 ML 网页游戏 Doodle Dash。该游戏基于 Google Quick, Draw! 数据集微调了 5.6M 参数的 apple/mobilevit-small 模型,通过 Web Workers 实现每秒 60 次以上的实时推理预测。
该教程展示了如何利用 diffusers 在免费层级 Google Colab 上运行 IF 模型。IF 是在像素空间工作的文本转图像模型,参数量达 10B,相比 Stable Diffusion 具有更高细节生成能力。通过 bitsandbytes 8-bit 量化及模块化加载组件,可在 13GB CPU RAM 和 15GB GPU VRAM 的限制下完成推理。
在 Intel Sapphire Rapids CPU 上,使用 Optimum Intel 和 OpenVINO 可显著加速 Stable Diffusion 推理。
Hugging Face 发布教程,介绍如何在 Diffusers 中使用 ControlNet 实现可控图像生成。教程演示了利用 Canny 边缘、OpenPose 姿态及多条件组合控制 Stable Diffusion 生成结果的代码实现,并展示了如何通过启用 CPU 内存卸载及 xformers 加速将推理时间缩短至 V100 GPU 上的约 3 秒。
推荐理由:原文提供了在 Diffusers 中结合 ControlNet 实现可控图像生成的具体代码示例与优化技巧。
Hugging Face 发布了 Swift 编写的 Mac 原生应用 Diffusers,可将社区文本生成图像模型转换为 Core ML 格式,利用 GPU 或 Neural Engine 实现本地生图。最新 1.1 版本在 Mac App Store 上线,性能较前版显著提升且生成速度最高可达两倍。
Hugging Face Hub 已支持 8 类核心计算机视觉任务,涵盖图像分类、分割、目标检测、深度估计等,拥有超 3000 个模型和 100+ 数据集。生态内集成 timm、Diffusers 等第三方库,支持通过 Transformers Trainer API 进行微调,并兼容 MAE、CLIP 等预训练策略。
Hugging Face 的 diffusers 库正式支持 LoRA(低秩适配)技术用于 Stable Diffusion 的微调。该方案通过冻结预训练模型权重并注入可训练层,显著降低了计算资源和显存需求,例如在 11 GB 显存的 2080 Ti 显卡上即可完成全量微调,且训练得到的权重文件仅约 3 MB,便于共享。
推荐理由:原文给出了LoRA微调的完整实践指南,读者可以据此用更低成本训练和共享自定义模型。
Stable Diffusion 的 Image2Image 功能被整合进传统工作流,用于生成游戏 2D 资产。该过程以手工绘制的草图作为输入,通过调整 denoising strength 参数控制模型对原始输入的修改程度。教程展示了在不到 10 分钟内生成游戏就绪的玉米图标示例,并提及 Dreambooth 和 LoRA 等模型定制技术。
该系列教程演示利用 AI 工具在 5 天内构建农场游戏,首日聚焦于确定美术风格。教程使用 Stable Diffusion 生成概念图,并指导读者在 Unity 引擎中构建场景、设置材质与光照。最终在不到一天内完成具备风格化场景的游戏雏形。
Hugging Face 发布教程,展示如何使用 🤗 transformers 调用 CLIPSeg 进行零样本图像分割。该模型基于冻结的 CLIP 表示和 Transformer 解码器,能在无额外训练的情况下生成粗略分割掩码。对于追求高精度的场景,可用 Segments.ai 工具对结果进行细化。
OpenAI 发布 Point-E 模型,该系统能够从复杂提示词生成 3D 点云。
推荐理由:官方发布3D点云生成模型,展示了从复杂提示词生成三维空间结构的技术能力。
Hugging Face 将 Stable Diffusion 转换为 Core ML 模型并开放在 Hugging Face Hub,支持 v1.4、v1.5、v2 base 和 v2.1 base,可运行在 CPU、GPU 和 Apple Neural Engine 上。
VQ-Diffusion 是中科大与微软提出的条件潜扩散模型,其加噪和去噪过程在由离散向量组成的量化潜空间上进行。文中介绍了 VQ-VAE 编码器将图像转换为离散 token 的流程,并解释了基于 Transformer 的近似逆向过程。
Hugging Face 将于 11 月 28 日发布免费扩散模型课程,并在 11 月 30 日举办线上活动。 Stability AI 的 David Ha、Meta 的 Devi Parikh 及 Runway 的 Patrick Esser 等将在活动中演讲,探讨 Stable Diffusion 的应用。
Hugging Face在Diffusers下训练Stable Diffusion进行Dreambooth微调,并给出学习率、训练步数与prior preservation等参数建议。
推荐理由:基于Diffusers实验给出学习率、步数与prior preservation等关键参数建议,并比较DDIM采样与text encoder微调的效果。