通用生成式 AI 能否为医学视觉模型提供训练数据?一项多模态回顾性研究
通用图像生成模型 Nano Banana 用于医学图像合成,仅用合成数据训练的肺炎模型 AUROC 达 0.877。 合成数据可补充训练与子群增强,但校准性能不稳定;编辑视网膜图像可使模型概率从 0.996 降至 0.822。 临床医生需结合校准分析和决策曲线评估合成数据的临床价值,而非仅看判别指标。
通用图像生成模型 Nano Banana 用于医学图像合成,仅用合成数据训练的肺炎模型 AUROC 达 0.877。 合成数据可补充训练与子群增强,但校准性能不稳定;编辑视网膜图像可使模型概率从 0.996 降至 0.822。 临床医生需结合校准分析和决策曲线评估合成数据的临床价值,而非仅看判别指标。
研究揭示了扩散模型异常检测中异常泄漏的精确生存律,表明异常随噪声降低呈指数衰减,衰减速率由保留率 r 决定。 该方法利用不同步数下的泄漏一致性,提出 SurvAD 框架,通过微调重构器并拟合比较器优化残差图。
论文提出 EBReg 框架,利用潜变量得分估计防止无监督学习中的表示坍塌。该方法联合训练编码器和得分模型,在 ImageNet-1K 上实现 75.57% 线性探针准确率,使用 ViT-L 架构。 测试时,得分引导的自适应机制在 ImageNet-C 数据集上提升约 5% 的平均相对准确率,增强了模型的鲁棒性。
研究人员推出 Discrete Diffusion Playground 基准,通过精确离散化双射将 2D 连续分布转换为二进制 token 序列。 该基准支持精确网格散度、Wasserstein 距离及非参数两样本检验,能揭示标准代理指标无法发现的失败模式。
研究者提出DA-DMD,通过复用训练中的教师-伪模型分歧信号来动态调制更新强度,无需额外模型或推理时修改。 该方法仅在高采样噪声区间激活,在外围精确恢复原始DMD行为,并在极端分歧时表现重降性影响。在SD3.5-L上,DA-DMD将HPSv2分数从28.23提升至30.93,且以64.4%的平均胜率超越DMD2。
提出一种基于 Volterra 层的自包含像素空间扩散模型,无需注意力、卷积、预训练组件或激活函数。 证明 softmax 注意力无法实现非线性多项式映射,而 Volterra 层在数据流形上实现更优逼近率,在 ImageNet 256x256 和 512x512 上表现具备竞争力。
PSP-DiT 将全景场景程序作为一等潜变量而非外部控制信号,通过耦合 Transformer 流对图像潜变量和场景程序潜变量进行联合去噪。该架构在匹配设置下于 GenEval 2、SANEval-Simple 等基准上超越了基线模型,在计数、属性绑定和角色敏感关系方面表现最佳,且推理开销适度,已获 NeurIPS 2026 收录。
控制实验表明,文生图模型输出不安全比例随训练数据中不安全图像占比从 0% 到 9.6% 单调上升,在对抗性提示下达 26.4%。 固定预算下,过滤固定比例(而非绝对数量)同等有效,且不影响 FID 等指标,但过滤后仍存在 13.6% 不安全生成下限。 安全对齐编码器可将下限降至 9.6%,但微调全安全数据会抵消整理收益,显示数据整理与编码器选择需互补。
DiRotQ提出W4A4 PTQ框架,通过PCA低秩子空间保持关键激活分量的高精度。 在PixArt模型上,DiRotQ取得FID 15.9、PSNR 19.1 dB,优于SVDQuant的FID 18.9。 Triton内核使12B FLUX.1-dev模型内存降低2.1倍,RTX 4090上推理速度提升2.3倍。
MM-SOLD 是一种免训练的交互粒子采样器,通过对分数进行矩匹配平滑来生成样本,无需昂贵的神经网络训练。 该方法证明了理想受约束吉布斯平衡的单粒子边缘分布随粒子数增加而收敛至指数倾斜的分数平滑目标吉布斯-玻尔兹曼密度,且其均值与协方差匹配训练 GMM。
论文提出 CCVFM,一种增强分层整流流的生成模型,用数据驱动的源分布替代各向同性高斯噪声源。该方法在 MNIST、CIFAR-10、ImageNet-32 和 CelebA-HQ 上实现竞争力强的少步生成,并证明代理传输成本等于目标-代理 Wasserstein 间隙。代码已开源。
**summary_zh:** 针对 Drifting 模型中极小批次估计的 O(1/n) 偏差,提出解析偏差修正(ABC)方法。 在批次统计中通过两行代码实现修正,将偏差降低至 O(1/n^2) 且不增加一阶总方差。 在 CIFAR-10 实验中,ABC 降低了 FID 并提升了训练速度。
论文提出 SIFR 方法,通过有符号优势替代奖励权重并限制速度漂移,以稳定流模型的多轮迭代微调。 在 SD3.5 Medium (2.5B)、FLUX.2 Klein (9B) 和 Cosmos 3 Super Text2Image (64B) 上,SIFR 在 12 组骨干-奖励对中匹配或超越现有方法,且收敛更快、长期训练不崩溃。
针对潜图生成模型因对各潜空间维度均匀加权而导致的性能瓶颈,本文提出潜重要性重加权(LIR)方法。LIR 利用解码器相对于潜空间的 Jacobian 矩阵,计算每个潜空间维度对图重建的相对影响力并据此加权,该方法模型无关且无需额外参数。实验表明,在多种基准数据集上应用 LIR 可提升性能并加速训练收敛。
开发者利用阿里云百炼 CLI 和 Qwen Code,开源了“一键生成公众号封面”的 Skill。该工具通过 qwen3.6-plus 识别内容风格,由 qwen3.8-max 组装提示词,调用 qwen-image-2.0 生成 1344×572 底图。
ZeNOVA 提出无梯度初始噪声对齐方法,用于确定性或少数步数生成。 通过退火软值引导、流形约束球面 Langevin 动力学和 Metropolis-Hastings 跳跃,在图像和视频生成任务中稳定优于所有零阶基线方法。
新模型SKILD通过单一无条件框架统一了图像生成与连续超分辨率任务,无需特定架构或重训练。 在CIFAR-10上达到FID 2.61,并在ImageNet上通过单一检查点实现2倍至8倍超分辨率,在感知指标上超越条件模型。 研究还表明该模型能重构关键的伊辛模型,其四重关联 closely tracks ground truth。
论文提出 Variable Codebook Size Quantization (VCQ) 方法,将码本大小沿序列从 2 单调增至最大值,解决了自回归视觉生成中的 Entropy Cliff 问题。
该研究提出 Volterra 生成模型,通过马尔可夫近似解决其非马尔可夫结构导致的得分学习与逆向模拟难题,高斯条件化将去噪降至原始数据维度。 模型与方差爆炸/保持表征建立联系,支持复用 EDM2 网络。
BALD-SAM提出将贝叶斯主动学习应用于空间提示选择,在16个跨领域基准测试中位列前二。 该方法通过冻结大模型并仅在小型预测头上应用不确定性建模,使数百万参数基础模型的不确定性估计可行。 BALD-SAM超越了人类提示,并在多个类别中优于先知提示,同时在薄壁和结构复杂对象上表现更佳。
当前 SOTA AI 生成图像检测器主要利用生成管线引入的全局伪影而非局部合成内容进行判断。 研究提出无模型诊断 INP-X,构建 30K 匹配三元组基准;该方法使商用 API 准确率从 >90% 降至 ~55%,DDA 从 97.6% 降至 58.4%,且 97% 的背景光谱偏移归因于 VAE 自编码器往返。 人类感知准确率从 63.8% 降至 56.2%;检测 INP-X 编辑仍属开放问题。
该研究提出结合UNet粗定位与SLIC超像素细分的混合流水线,在眼底图像脉络膜痣分割中实现90.9%的平均Dice指标。 方法在25张保留测试图上优于nnU-Net(83.2%)、Swin UNet(73.0%)及Attention UNet(60.6%),推理无需GPU,1024×1024图像耗时仅1.6秒。
研究提出 IE-PFA 上下文模型,利用 RWKV 模块在空间与通道维度融合内外先验,实现单网络 64 级可变率编码。 模型参数量仅 29.9M,编码 61 ms 与解码 52 ms 为最快神经编解码器,在 7 个基准测试中较 VTM-22.0-Intra 平均降低 21.65% BD-Rate。
FewStepRL 提出了一套将强化学习目标系统性地适配至少步扩散模型的三阶段方法(变换、分解、适配)。 该方法统一了密度、速度和奖励目标的梯度形式,在单一模块化代码库中实现了 FlowGRPO、DiffusionNFT 等 5 种算法。 实验表明,当奖励梯度可计算时,基于奖励梯度的方法最有效;增加推理步数无系统性整体收益。
FisherDistill 提出一种基于 Fisher 线性判别分析的扩散模型蒸馏优化方法,无需额外对抗判别器。该方法利用冻结教师网络的中间表征,通过计算样本的一阶和二阶统计量推导闭式 Fisher 方向,作为轻量化修正信号补充原始蒸馏目标。 在多种蒸馏框架中,FisherDistill 一致性地提升了生成质量,显著缩小了与对抗性优化方法的性能差距。
微信发布统一图像基础模型 WeLM-Image,整合多模态理解与文生图,1536 分辨率在 PRISM-Bench 等三个基准测试中排名开源模型第一。 模型采用 Mixture-of-Transformers 架构,存储参数 31.7B,激活约 5.4B,支持单卡部署及 1.5K 原生分辨率。
研究者提出 FluxC,一种利用 Flux 作为压缩先验的零样本编解码器。在匹配信噪比(SNR)下,路径选择不影响理想信息率但改变比特分配;ODE 重建在低码率下比祖代采样具有更低失真。实验显示 FluxC 在自然图像上性能与近期神经压缩方法具有竞争力。
研究人员提出无需训练的GENIQ方法,通过文生图扩散模型生成健康皮肤与病灶图像构建原型,解决概念词注意力在皮肤镜图像中不可靠的问题。 该方法从生成图像中获取的皮肤-病灶方向与真实病灶分离方向对齐度更高,结合无标注图像中的极似皮肤/病灶斑块进行原型精化。 在三个皮肤镜测试集上,GENIQ取得了0.85-0.88的Dice分数,优于零样本及基于词的方法。
OpenAI 在 ChatGPT 和 API 上每周生成的图像数量超过 40 亿张。该数据是 8 周前超过 30 亿张/周的显著增长。
Hogwarts Legacy 今日上线 NVIDIA DLSS 5 3D-Guided Neural Rendering,为 GeForce NOW 玩家带来更真实的光照与材质细节,同时支持 DLSS 多帧生成与光线重建。Ultimate 会员可在多种设备上体验 RTX 5080 级性能,免去购买昂贵 PC 或等待本地下载。
创作者 SwordSpeed 利用 Kling 4.0 生成 30 秒科幻短片《THE CABLE》,重点测试模型在动态中保留复古手绘风格、角色一致性及零重力物理效果的能力。
MONET 发布了一个包含 1.038 亿图像-文本对的 Apache 2.0 开放数据集,源于 29 亿原始数据,经过安全过滤、去重及多视觉语言模型重描述增强。 每张图片附带预计算嵌入与标注。研究人员仅用该数据集训练 4B 参数潜扩散模型,取得了具有竞争力的 GenEval 和 DPG 分数,证明了其降低大规模可复现研究门槛的作用。
论文提出 ReMoA 框架,通过递归潜在精化提升扩散模型的结构化推理能力。 在 ImageNet 生成任务中,DiT-XL 的召回率从 0.57 提升至 0.62;GenEval 基准下 SD3-medium 总分由 68.33% 升至 71.18%。 该框架在不增加递归额外参数的前提下,使各神经模块随扩散时间步特化,增强输出细节丰富度与对齐效果。
研究人员提出 AEGIS,这是首个针对 3D 高斯化身模型的隐私保护身份掩码框架,能在保持视觉真实感的同时对抗人脸识别。 AEGIS 通过向基础颜色系数添加对抗扰动实现保护,无需修改几何结构。在对抗黑盒识别器时,该方法将检索准确率降至接近零,并保留了年龄、性别等面部属性。 论文已被 WACV 2027 接收,旨在解决动态 3D 化身在多视角下的身份泄露风险。
TailSteer 是一个旨在解决多轮图像编辑中视觉漂移问题的最终阶段训练框架。它通过保持早期去噪动态接近基础模型,并将保留性修正集中在轨迹尾部,从而有效抑制细粒度偏差。
NEXTGAN 提出了一种通过回归特征位移来训练标量 critic 的 GAN 方法,支持最高 14B 参数预训练生成器的适配。 在 ImageNet 上实现一步 FID 1.54,Wan2.1-1.3B 模型两步 VBench 得分达 83.13,领先 rCM 和 AnyFlow。
DualControlNet 是首个联合生成高分辨率土地利用地图与卫星影像的生成式模型。该模型在奥兰多和芝加哥的 40,000 多个配对地块上训练,支持基于文本提示的多维控制。 相比单模态基线,土地利用多样性一致性提升 62.8%,建筑覆盖率一致性提升 16.3%,跨模态空间一致性翻倍以上,视觉质量提升三倍。实验证明其可通过“高密度开发”等提示词支持可持续发展规划。
PEEK 提出了一种无需训练的确定性采样器插件,通过一步前瞻校正扩散模型采样中的曝光偏差。 该方法在每个去噪步执行临时更新并评估前瞻状态,利用插值优化生成质量。在 8 个像素及潜在空间模型测试中,NFE 匹配基线下 FID 最高提升 49.3%,单次校准耗时不超过 2.2 分钟。
Alexa+ 生产管线通过 RLVR 微调 flow matching 模型,将图标生成通过率从 15.7% 提升至 58.7%。 管线分解为图像生成等五阶段,因缺乏线稿数据集,设计目标验证器标记违规生成,以自动标记替代监督微调。 该验证器在生产环境中作为最终设计审查前的自动化质量门,同时训练模型与验证器均已部署上线。
论文提出 LongBanana,这是首个由专家设计与验证的长上下文多参考图像合成基准。该基准包含 90 个任务,依据 3x3 分类法组织,共提供 4,670 个专家指定的原子评估项,其中 15% 的双标签子集准确一致率达 89.4%。