综述:前沿图像生成模型、合成视觉证据与现实风险
该综述分析前沿图像生成系统如何产生逼真照片、可读文档及一致人物地点描绘。 当这些合成产物被呈现为真实事件记录时,可能影响新闻、金融、身份验证、医疗和司法领域的决策。 文章区分了供应商能力声明、已记录事故、实验发现和前瞻性危害路径,并比较了提供商限制、来源系统、水印、平台标签和政策义务的功能,指出高风险决策需认证源记录、可信渠道佐证及适度审查。
该综述分析前沿图像生成系统如何产生逼真照片、可读文档及一致人物地点描绘。 当这些合成产物被呈现为真实事件记录时,可能影响新闻、金融、身份验证、医疗和司法领域的决策。 文章区分了供应商能力声明、已记录事故、实验发现和前瞻性危害路径,并比较了提供商限制、来源系统、水印、平台标签和政策义务的功能,指出高风险决策需认证源记录、可信渠道佐证及适度审查。
StoryBlender 提出一种基于故事中心反思机制的 3D 故事板生成框架,实现镜头间一致性与显式可编辑性。 该系统采用三阶段流水线:语义空间定位构建连续性记忆图,规范资产实例化维持视觉身份,时空动态通过视觉指标实现布局设计。 实验表明,StoryBlender 在一致性和可编辑性上显著优于扩散模型和 3D 基准方法,支持对相机和视觉资产的直接精确编辑。
UltraText Bench 发布 432 条中英对等稠密视觉文本提示词,覆盖 24 类场景与三级难度,每词包含 4-12 个文本区域。
新模型 OmniCam 利用单张全景图和文本描述自回归生成相机位姿序列,在 OmniCaT 数据集中将轨迹误差降低 28-47%,碰撞率降低 65.8%。 该模型采用几何感知的位姿 Token 学习,包含全景点云编码器及绝对旋转与相对平移混合 Token 化机制,OmniCaT 数据集包含 267,700 条轨迹。 下游实验验证了其在受控视频生成与机器人主动感知中的应用潜力。
summary_zh: Iris-3B 30 亿参数像素空间文本生成图像模型未能在单目深度估计与 4 倍 DIV2K 图像恢复任务中显著超越 FLUX.2 Klein 潜在模型。
该研究提出参考绑定 Visual Jev 奖励机制,解决多主体图像生成中主体属性与关系验证难题。 使用 Qwen3.5-4B 验证器训练,通过 GPT-5.4 综合评分从 41.78 提升至 52.50。 基于 200 个 MICo-150K 任务与 30 次更新实现优化,但离线人工评估未显示统计显著优势。
该研究提出一种利用扩散模型生成图像的方法,通过从用户历史偏好对中直接学习个性化奖励模型来解决对齐难题。 方法采用自编码器将数百个视觉属性压缩为50个基于属性的偏好维度,并训练评估器进行评分。
SlideRuler 利用切片内部区域作为内部对照,估计并校正采集导致的病理基础模型嵌入漂移,同时保持基础模型冻结。 该方法在 5 台 SCORPION 扫描仪上测试,学习转移使平均目标到源嵌入距离较原始嵌入减少 16.3%-38.5%,源锚定变体进一步减少 47.7%-83.6% 的源特征位移。
针对语义分割数据集蒸馏中的长尾类别不平衡与像素级对齐难题,D3S2 提出了一种两阶段扩散引导框架。 该框架结合类别平衡掩码选择与扩散图像合成,在 1% 压缩率下,于 ADE20K 和 COCO-Stuff 数据集使用 Mask2Former (Swin-S) 分别取得 24.99% 和 35.49% 的 mIoU。 实验结果表明 D3S2 显著优于随机选择基线,代码已公开。
深度世界模型 DepthWorld 联合预测多视图 RGB 和深度,基于 Stable Video Diffusion 架构,在 DROID-3D 数据集上训练。
论文提出 Dual-FDM 范式,通过频率域解耦双图像引用,解决扩散模型去噪过程中频率纠缠导致的文本错位问题。 在定制化风格迁移中替换背景中频带,在色彩风格迁移中替换背景低频带,利用替换频段作为 Key/Value 重构查询前景和背景。 Dual-FDM 在个性化图像生成任务上优于最先进的扩散模型,论文被 NeurIPS 2026 接收且代码已公开。
OpenSplatGraph 提出统一框架,直接从在线 Gaussian 开放词汇语义图构建持久 3D 场景图。 框架引入可靠性感知语义场以提取置信度感知的对象实例,支持语言引导的对象定位和结构化关系推理。
ElasticFit 框架将 VLM 推理转化为显式 3D 约束,实现物体在受限空间内的几何适配。 在固定资产基准中,空间关系成功率提升至 69.7%,支撑成功率达 91.7%。该论文已被 NeurIPS 2026 接收。
WildMatch 通过仅使用身份标签对预训练关键点匹配器进行对比微调,实现了野生动物图像匹配的弱监督适应。 该方法挖掘信息图像对,利用身份一致性生成弱监督信号,增强了同类个体间的对应关系并抑制了不同个体间的对应。在开源数据集上,其精度优于现成匹配器和最先进融合方法,且能学习可迁移的对应先验。
D-OPCD 方法将 Agent 生成的特权提示词知识蒸馏进扩散模型权重,使模型仅依赖原始查询即可保留部分 Agent 增益。 该方法结合 Auto Skill Evolver 框架,在四个基准测试中将平均直接生成得分从 60.52 提升至 65.09。 内化后的模型支持第二轮技能进化,在无技能 Agent 基础上额外提升 1.83 分,指向系统与模型的持续共同演化。
提出能量自适应噪声调度与白化策略,用于变换域扩散模型。该方法结合全局频谱白化与能量条件噪声分配,保持高斯转移的闭式边缘分布,且兼容标准 DDPM 和 DDIM 流程,无需修改扩散架构。
该研究开发了FedDermaSeg联邦学习模型,用于解决皮肤病变分割中的隐私保护问题。 模型在ISIC 2018数据集上模拟分布式环境训练,并在ISIC 2018测试集和PH2数据集上评估。 实验表明,联邦模型性能与集中式训练相当,且优于本地模型,无需集中聚合医疗图像。
RefRoute 框架解耦了条件化成本与参考图像数量,在 ManyRef100 基准测试中,其 Weighted-Ref-VIEScore 达到 36.06,显著高于 FLUX.2-Klein-9B 的 8.88。
研究发现文生图模型的 VAE 潜空间共享与亮度及对立色对齐的颜色子空间,通过线性近似编码器在 SD1.5 到 FLUX.2 等模型中验证了该特性。 提出 ColorTuning、饱和度控制和颜色迁移三项应用,其中 ColorTuning 在 GenColorBench 的 CSS3/X11 系统上实现精细数值颜色生成的 SOTA 效果。 代码和模型已公开。
研究提出 Relative Taylor Debiasing (RTD) 算法,实现了 O(d/ε²) 的样本复杂度最优 FID 估计。RTD 在 50K 样本预算下达到最低平均估计误差,其 VALE₂ 估计器仅用 10K 样本即可匹敌 50K 样本下的 FID∞ 精度。 RTD 利用 U-statistics 启发的去偏技术,显著提升了有限样本下生成模型评估的准确性与效率。
提出 DDT-RBE 以移除扩散模型编码器中自注意力与 MLP 模块周围的残差连接。 该方法通过融合输入 Patch 嵌入与中间及最终编码器特征来保留低层细节,同时允许各块学习更抽象的表征。 DDT-RBE 在图像分类、语义分割等视觉理解任务及 ImageNet 生成任务(更低 FID)上均优于 DDT。
EvoDiagram 是一个智能体框架,通过中间画布 schema 生成对象级可编辑图表,解耦语义意图与渲染逻辑。该框架采用设计知识进化机制,将执行轨迹蒸馏为分层记忆,并发布了 CanvasBench 基准。 实验显示,EvoDiagram 在生成可编辑、结构一致且美观连贯的图表方面表现优异,代码已开源。
研究者提出 BEAP,一种黑盒、嵌入感知的对抗提示攻击,利用 LLM 迭代生成对抗提示,在五种遗忘方法上实现 97.8% 的宏平均 ASR,超过白盒 UDA 基线 41.6 个百分点。
研究者提出 Rectified Flow Auto Coder(RAC),以 Rectified Flow 替代传统 VAE,通过让解码器在 flow timesteps 上多步解码实现逐步细化,且解码路径笔直可修正。
研究者提出学习型分谱超透镜(learned split-spectrum metalens),通过多波段光谱滤波将每个 RGB 通道分为通带与阻带,使超透镜聚焦远距离物体、滤除近景遮挡光,实现宽带去遮挡成像。
MedForj 发布了一套基于扩散模型的 3D 生成式基础先验,训练数据为 38,174 名受试者的 72,659 个 1mm 各向同性 3D T1 加权脑 MRI 体数据,源自 38 个公开数据集。
一项研究系统探究了乳腺钼靶AI检测中的五个关键问题,包括patch分类器作用、自然图像预训练骨干的可迁移性、learn-to-resize与常规降采样对比、多视角整合贡献及图像质量鲁棒性。
研究者提出 TILT(Test-time model-Intrinsic reward aLignment via Tilting),一个免训练框架,通过将最终"纯模式"采样转化为中间时刻对齐的奖励,缓解扩散模型在组合式提示下的模式碰撞问题。
UniSlider 将滑块与生成强度参数解耦,要求感知距离随滑块值线性增长,从而解决图像回退、区间无变化或突变的问题。 它是在少步编辑骨干上训练的轻量 LoRA,通过自适应采样在推理时重映射强度,无需额外训练或参数;在 300 个连续编辑的新基准上,其在均匀性、单调性、编辑保真度和身份保持上均优于现有方法,并获得用户研究偏好。
研究者提出免训练框架 MC-Sparse,通过缓存查询分组、精确注意力概率选出的 KV 索引及稠密-稀疏输出残差并在去噪步骤间复用,在视频和 3D 生成模型上实现比现有稀疏注意力基线更高的保真度与更大加速。
一项系统评估显示,五个开源文本到图像模型在将正常新闻标题改写为不安全提示词后,有害内容生成率最高达 89.2%(血腥暴力类),性露骨内容为 47.6%。 研究覆盖性露骨、暴力血腥、有害刻板印象、自残与仇恨言论五类,社区微调变体尤其易被性露骨提示词突破;FLUX.1-dev 有 30.9% 的案例生成明显逼真的有害图像。
研究者提出 TPUS 框架,用拓扑感知提示条件实现超声与 MRI 跨模态子宫多结构通用分割,在两个留出测试集上 Dice 分别达 0.898 和 0.693,优于多种通用分割基线。 TPUS 采用模态专属 stem 加模态共享图编码器-解码器的多数据集骨干,配合任务感知类别提示、动态卷积适配模块与拓扑感知损失,支持异构标签空间联合学习。 代码已开源。
CentriQ 是一种无需校准的扩散 Transformer(DiT)量化方法,通过在每个 token 旋转前做均值中心化并用 rank-1 全精度分支精确恢复均值,在 4-bit 下达到校准版 SVDQuant 的质量。
研究者提出单编码器框架,结合双层去相关与原型引导跨群体对比学习,在 CheXpert 的 34,809 张测试图像、八个交叉群体上降低人口统计学依赖,平均 equalized-odds 差距从 15.41% 降至 10.86%,AUC 差距从 5.95% 降至 5.01%。
研究者提出 ARRO,用强化学习优化基于指令的图像编辑,让模型只改指令指定的属性。在 FLUX.1 Kontext-dev 上,ARRO 将 MinEval、MagicBrush、AnyBench、Emu-Edit 的平均 EditScore 从 5.21 提升到 5.88。
研究者提出 Jacobian Lens Distance(JLD),从冻结视觉编码器而非人类标注中推导感知几何,在四个标准感知数据库上达到 SOTA,持续优于 LPIPS、DISTS、PieAPP 和 DreamSim。
研究者提出 Weave Mamba Fusion(WMF),将相邻两层特征金字塔逐列交错,使水平双向 SS2D 扫描每一步在两个尺度间切换,在保留跨尺度结构的同时实现高效交互。
研究者提出 Level-of-Token(LoT)Diffusion,用多分辨率 token 布局让扩散模型按需分配算力,细节区域用更细 token、其余区域用更粗 token,从而在图像和视频生成中取得质量与效率的更好权衡。
AgroGround 是一个包含 794,850 个指令示例的大规模有根农业识别数据集,用于识别植物病害并定位图像区域。该数据集通过自动化流水线转换八个农业视觉问答数据集中的标签生成。 微调后的 2B 模型在联合正确率上达到 43.3%,且在健康图像上的拒绝率为 95.0%。 代码已开源,该基准测试建立了有根农业识别的新标准。
研究者提出 Empirical Variational Autoencoder(EVA),一个面向连续值(非向量量化)序列的通用生成框架,仅需在 VAE 之上增加一个线性层即可实现。