AVCE 框架实现扩散模型中可验证的概念擦除
AVCE 框架通过将擦除操作锚定在模型潜在表示中,显著提升了概念擦除的可验证性。 该框架审计嵌入邻域,在闭式编辑注意力层后使用正交梯度投影微调,有效解决内部表示中概念残留问题。 实验表明,在 SD v1.5、SDXL 和 Flux 1.0 上,AVCE 将攻击成功率降低 5.07 倍,审计分数提升 3.84 倍。
AVCE 框架通过将擦除操作锚定在模型潜在表示中,显著提升了概念擦除的可验证性。 该框架审计嵌入邻域,在闭式编辑注意力层后使用正交梯度投影微调,有效解决内部表示中概念残留问题。 实验表明,在 SD v1.5、SDXL 和 Flux 1.0 上,AVCE 将攻击成功率降低 5.07 倍,审计分数提升 3.84 倍。
针对Best-of-$N$ (BoN) 采样仅在最终阶段使用奖励信息的局限,研究提出BoNG方法,将BoN选择原则直接集成至反向扩散过程以增强扩散模型的人类偏好对齐。
MGFlow 提出了一种统一分布训练的理论框架,将分布建模与匹配差异分离,通过高斯混合模型支持最优传输和基于分数的匹配。在 ImageNet 256x256 数据集上,MGFlow 的 FDr^6 指标达到 pMF-H 上的 1.45 和 JiT-H 上的 1.64,超越 FD-Loss 基线。
流映射模型(flow map models)隐式定义了一组连续跨越失真-感知(DP)前沿的去噪器,其中 lookahead 参数 t 作为控制旋钮调节 MMSE 与感知模式。该机制在 Plug-and-Play 求解器中适用于一般逆问题,单个训练模型即可匹配或超越专业基线。实验在 CelebA 和 AFHQ 数据集上验证了该发现在多种线性及非线性逆任务中的有效性。
针对扩散模型在优化过程中因拟合样本数据而过早产生记忆(Memorization)的问题,研究提出质量门控去白化(QGD)控制器与副本预算选择(CBS)方法。该方法在保持基线质量到达时间的同时,将有用区间延长 8.32 倍,并使通用检查点的复制率降低 75.9%。在 CIFAR-10 子集上,QGD 的 FID 为 75.56,优于使用相同选择器的 SGD 基线(79.37)。
VTBench 是一个专为评测视觉分词器(VT)的基准,覆盖图像重建、细节保留和文本保留三个核心任务。实验发现连续变分自编码器(VAE)在视觉表示上优于离散视觉分词器。该研究代码和数据集已公开,并被 AACL-IJCNLP 2026 接收。
VIDiff 是首个专为视频指令扩散设计的统一基础模型,涵盖理解与生成任务。该模型可在数秒内根据用户指令编辑和翻译视频,并利用迭代自回归方法确保长视频编辑的一致性。
AutoTarget 通过测量无缓存复用误差,为特定模型、求解器和复用调度选择最优缓存张量。实验表明,该策略在 PixArt-LCM 和 FLUX.1-schnell 上的校准排序与保留集结果一致。方法降低了 DiT 评估次数并减少缓存存储,生成质量接近未缓存基准。
AREX 是一种免训练的采样器,专为预训练的流匹配模型设计。它利用目标均值和协方差捕捉采样动力学中解析可处理的部分,将学习动力学分解为仿射分量和神经残差项。AREX 通过显式矩阵值传播器积分仿射分量,并仅对残差项进行积分。在图像和文本生成图像任务中,AREX 在少步采样阶段持续提升了样本保真度,且无需重新训练基础模型。
AortaDiff 提出通过不确定性评估扩散模型从非增强 CT 生成增强 CT 图像的语义正确性,并在外部多中心数据集分布偏移下保持有效。 MCDropout 作为输入扰动方法在像素、区域和图像层级均表现领先,且无需额外训练成本即可在推理阶段启用任何已含 dropout 的模型。该信号可用于质量过滤、可靠性评估及识别临床相关的分布外案例,但难以区分已生成的高质量图像。
COFLOW 是一种推理时方法,通过根据提示词特征自适应选择步数,在无需重训底层生成模型的情况下实现超过 2.5 倍加速,同时保持感知和语义质量。该方法可插拔,适用于图像和视频生成,并提供了在标准正则条件下 O(1/K) 前向欧拉离散化误差界的理论分析。
NegT2IBench 包含 4800 条涵盖属性与关系约束的提示词,通过独立调节正负约束数量,区分了否定效应与提示词复杂度对模型生成的影响。在评估 11 个文本生成图像模型和 211,200 张图片后发现,9 个模型在单条否定约束下的得分低于单条肯定约束,且 41.5% 的失败语句渲染了提示词禁止的内容。
DAGS 是一种无注意力机制的解耦外观与几何条件方案,通过小型卷积编码器引导冻结图像 DiT 生成高质量渲染。在匹配 1-spp + G-buffer 输入下,其 PSNR 比 Intel OIDN 和 RGB X 分别高出 +8.6 dB 和 +10.1 dB,且感知时间稳定性提升 2.5-8 倍。该方案以较低计算成本实现可控渲染,非实时运行。
研究揭示单步生成模型将扩散模型多步去噪计算重组至网络深度层面,即“深度即时间”现象。MeanFlow 等模型在单次前向传播中,去噪计算随层数展开,且可通过解码中间层恢复;相比之下,未基于时间索引传输任务训练的模型不表现出该现象。
SatisDive 提出了一种免训练的推理时方法,用于在文本生成图像任务中遍历满意度与多样性的帕累托前沿。 该方法通过设定奖励下限与多样性截断值,利用基于批次的相对奖励阈值区分高低奖励候选项。
美团推出面向本地生活场景的AI数字人直播解决方案“美团智播”,过去一年月日均GTV同比增长82.12%,月日均观看人次同比增长163.44%。 该方案支持30秒生成直播素材、3分钟完成开播配置,并实现7×24小时稳定上播,成功打通从技术落地到规模化商业闭环。
Google Research 发布 Diffusion Controller 框架,将扩散生成重构为连续控制问题。实验显示该框架在灰箱环境中 HPS-v2 胜率超过 LoRA,白箱版本对基线胜率 90%。
推荐理由:提出统一扩散模型控制框架,提供比LoRA更轻量的灰箱控制方案。
阿里云在 2026 云栖大会 DAY2 发布真武 V900 AI 芯片,性能是真武 M890 的 3 倍,预计 2027 年 Q1 量产;同场发布 Qwen-Audio-3.1 系列语音模型,全线价格最高下调 95%,API 已上架千问 AI 平台。
蚂蚁开源 Ming-Image-0.1-Design 系列,包含 6B 参数的设计生成模型和图层拆解模型,并同步开源 Design Skill 和 PPT Skill。
推荐理由:开源两个 6B 模型覆盖设计生成与图层拆解,并同步提供前端与 PPT 工作流 Skill,展示小参数模型进入设计交付环节的完整路径。
百灵大模型开源Ming-Image-0.1-Design系列,包含6B参数的Design和Layer模型,支持从文字生成UI及将设计图拆成可编辑透明图层。该模型在Artificial Analysis UI/UX Design榜单位列开源第1,Layer在Crello-Test 12项指标中全部排名第一。
推荐理由:6B模型将设计生成与图层编辑打通,读者可评估其在UI、海报等场景替代高参数量模型的可行性。
腾讯正式发布混元图像3.5预览版(Hy Image3.5 preview),该模型在数百名内部专业设计师GSB盲测中较Hy Image3.0能力提升约30%,支持文生图、图生图及多轮对话创作,最高输出2K分辨率。腾讯云API定价为0.15元/张,已上线元宝、WorkRally、OnSolo、Miora、WorkBuddy及ima等产品,灰度测试期间生图请求量提升超50%。
推荐理由:腾讯官方发布Hy Image3.5 preview,提供内部盲测对比数据与0.15元/张的API定价,展示其在专业创作场景的性价比与能力提升。
豆包工作通过 6 个实战场景简化电商运营工作流。工具利用多维表格自动分析用户评价以驱动选品,并串联 5 个 AI 角色批量生成白底图、详情页及 10 秒短视频。此外,结合/可视化指令自动生成 GMV 等经营数据趋势图表,并创建可交互的月度预算计算器,实现收支盈亏的实时更新。
RunningHub宣布完成Qwen-Image 2.1的首发接入,支持直接生成和编辑。该版本模型将文生图、图片编辑、多图参考和透明背景生成整合在同一系统中,支持输入10张参考图及原生输出带透明通道的RGBA图像。创作者和开发者可在RunningHub上利用该模型搭建工作流,简化从生成到交付的图片处理流程。
推荐理由:RunningHub接入刚开源的Qwen-Image 2.1,展示了其在原生透明背景和多参考图编辑上的工作流整合能力。
千问大模型团队开源发布 Qwen-Image-2.1,该模型视觉生成部分参数量为 7B,将文生图与图像编辑整合在同一架构中。模型支持最多 10 张参考图输入,并原生支持透明图像的生成与编辑,同时通过混合粒度注意力结构和 KV Cache 复用机制优化了推理效率与显存开销。
推荐理由:原文详细展示了该轻量模型在透明图像生成与编辑、多图融合及推理效率优化等方面的具体能力与技术细节。
蚂蚁开源 LLaDA-Image,6B 参数 DiT 模型,90% 纯图片预训练配合自条件学习,实现统一文生图与编辑,TwinFlow 蒸馏支持 2-4 步推理。Qwen-Image-Bench 中英文总分 53.53 和 53.38,位列开源模型双第一;SGLang 提供 Day-0 适配,开放完整权重、训练代码与蒸馏配方。
推荐理由:LLaDA-Image 采用 90% 纯图片预训练路线,展示了不同于传统图文对绑定的生成范式,在 Qwen-Image-Bench 上取得开源模型中英双第一。
可灵能力接入百度秒哒平台后,累计调用次数已超过 2496 万次。 应用开发者主要将可灵用于两类场景:一是通过 可灵3.0Omni 和 可灵3.0Turbo 模型为应用增加视频生成能力,二是批量生成视觉素材以提升游戏或叙事内容的沉浸感。 近期上线的 Agent Market 提供 一键换装 和 商品成片 等开箱即用功能,并开放 API 供开发者集成,同时秒哒平台推出限时优惠以促进影像生成能力的普及。
RunningHub 于 7月9日 全网首发上线 Seedream 5.0 Pro 图像生成模型,该模型于 7月8日 正式发布。Seedream 5.0 Pro 主打“不止生成,更懂设计”,具备交互式精准编辑、超写实商业视觉、复杂信息可视化及 14 种语言原生文字生成四大能力。用户可通过 rhTV、快捷创作、AI 应用及 ComfyUI 工作流调用该模型。
利用清晰的提示词在 ChatGPT 中创建并优化图像,可在几分钟内迭代设计并生成高质量视觉内容。
Berkeley AI Research 团队开发了一种基于互信息的成像系统设计与评估框架,该方法直接利用噪声测量和噪声模型量化信息量,无需任务特定的解码器。该框架在四个成像领域验证有效,优化设计可与最先进的端到端方法匹配,同时减少内存和计算需求。
Hugging Face 宣布在 Gradio 中支持通过单一参数实现生成内容的可视化水印。开发者可为图像和视频添加水印,或直接嵌入包含元数据的 QR 码。文本生成界面也支持自定义水印,确保用户复制 AI 回复时自动附带来源归属信息。
Hugging Face 发布教程,演示如何利用 PyTorch 预编译加速 ZeroGPU Spaces。该教程展示了在 H200 硬件上,通过预编译和 FP8 量化将 Flux、Wan 等模型的推理速度提升 1.3 倍至 1.8 倍。文中还详细介绍了动态形状处理、区域编译以及如何结合 FlashAttention-3 进一步优化性能的具体实践方法。
Claude 可连接 Hugging Face Spaces 以利用最新模型生成详细图像。通过集成 Hugging Face MCP Server,用户可以启用 FLUX.1 Krea Dev 生成逼真自然图像,或使用 Qwen-Image 实现精准的文本渲染。账户提供免费额度使用这些模型,且便于在不同模型间切换。
Diffusers 结合 PEFT 发布针对 Flux 图像生成模型的 LoRA 快速推理优化方案,通过 Flash Attention 3、torch.compile、FP8 量化以及新的 LoRA 热交换机制避免重编译问题,在 H100 上实现 2.23 倍加速。
Gradio 应用自 v5.28.0 起支持 MCP 协议,使 Hugging Face Spaces 成为数千个 AI 工具的“应用商店”。文章以 Flux.1 Kontext[dev] 为例,演示了如何将该模型作为 MCP 服务器接入 Cursor 等客户端,实现通过自然语言指令进行图像编辑的功能。
Hugging Face 发布教程,指导使用 diffusers 库和 QLoRA 技术在单卡消费级硬件(如 RTX 4090)上微调 FLUX.1-dev 模型,峰值显存占用低于 10 GB。
推荐理由:文章提供了在消费级硬件上微调FLUX.1-dev的具体代码流程和显存优化技巧,读者可直接复用该方案降低部署门槛。
ChatGPT 图像生成功能支持通过提示词、草图或上传图片创建品牌视觉及产品模型。 该功能旨在帮助用户快速生成符合品牌规范的视觉素材,简化设计流程。
Hugging Face 在 Inference Endpoints 中试点远程 VAE 解码功能,通过 Diffusers 开放源代码将解码过程委托至远程端点,以减少消费级 GPU 上的内存占用并规避离载或平铺带来的延迟与质量损失。
Hugging Face 开源了 WebSight-v0.2 数据集及微调模型 Sightseer,旨在利用视觉语言模型将网页截图转换为 HTML 代码。该数据集包含 200 万个合成示例,相比 v0.1 版本采用了真实图像和 Tailwind CSS,显著提升了数据质量。Sightseer 模型基于此微调,能够生成包含图像的功能性 HTML,致力于简化 UI 设计到代码的转化流程。
Segmind 推出 SegMoE 框架,支持从头创建扩散模型专家混合(MoE)架构,并集成于 Hugging Face 生态系统。该框架提供 Apache 2.0 许可的开源模型及代码,允许用户通过配置多个专家模型来构建自定义 MoE 扩散模型,显著提升了提示词理解能力。
ONNX Runtime 结合 Olive 工具显著加速了 SD Turbo 和 SDXL Turbo 的推理性能。在 NVIDIA GPU 上,ONNX Runtime 吞吐量最高比 PyTorch 提升 229%(SDXL Turbo)和 120%(SD Turbo)。该方案支持 C# 和 Java,模型优化版本已在 Hugging Face 开放。