无标签引导:基于耦合高斯混合分布的流匹配
研究人员提出一种基于耦合高斯混合分布的流匹配方法,将高斯源替换为拟合的混合分布,通过熵最优传输耦合数据点与混合分量。 该方法推导出标准高斯源问题的引导式修正项,并复用预训练速度场。仅需一个小型修正网络学习剩余项,在CIFAR-10和CelebA-HQ上提升FID,CelebA-HQ减半步数达到基线质量。
研究人员提出一种基于耦合高斯混合分布的流匹配方法,将高斯源替换为拟合的混合分布,通过熵最优传输耦合数据点与混合分量。 该方法推导出标准高斯源问题的引导式修正项,并复用预训练速度场。仅需一个小型修正网络学习剩余项,在CIFAR-10和CelebA-HQ上提升FID,CelebA-HQ减半步数达到基线质量。
引入重要性加权条件流匹配(IW-CFM),通过冻结模型的密度比重加权,使梯度与流匹配对齐ω次方目标。 在 ImageNet 上,轻量级校正器比固定或匹配引导的 CFG 实现更好对齐,并展示了幂密度排序分析。
论文提出一种利用任意可微分割模型的 GAN 架构,用于实现带精确色彩控制的真实图像色彩编辑。 该方法克服了传统方法难兼顾真实感与自动化、GAN 难精确控制的挑战,在多个用例上达到 SOTA 效果,已发表于 ICIAP 2023。
论文提出视觉编码模型 RUNG,将图像描述与生成视为变码率逐次精化过程。通过语言优先排序,前缀-文本信息量提升 2.9 倍,GenEval 基准从 0.76 提升至 0.83。RUNG-XL (3.4B) 模型在 32 次网络评估下实现 0.88 GenEval 和 87.6 DPG-Bench,支持无逆算图像编辑。
提出质量-多样性扩散框架及谱突变算子,在文生图任务中对比 12 个基线,该方法持续取得最低 FID 分数。 该框架通过优化潜噪声与条件嵌入来量化多样性,并利用模型输入-激活 Jacobian 的主奇异向量引导搜索方向,以最大化语义敏感性。 该工作展示了扩散模型在发现多样化高性能输出方面的潜力,实现了图像质量与多样性的优秀平衡。
提出CS-VGB推断时缩放方法,通过反复去噪与再噪化从连续生成模型的奖励倾斜分布中采样。 该方法即使中间验证器存在误差,其稳定分布也精确等于目标,且预期更新次数随检查点线性增长。 在ImageNet和CelebA生成及多机器人规划任务中,CS-VGB在增加计算预算时持续提升了奖励和任务成功率。
DressAgent 是一种分层智能体系统,通过物理仿真闭环优化,从单张图像重建可仿真的多层 3D 服装。 该系统构建了首个包含超 15K 套服装的多层裁剪图数据集,并采用粗到细策略,由 Tailor、Critic 和 Orchestrator 协同完成精细化迭代。 DressAgent 在性能上大幅超越前馈方法,耗时仅为微分优化的一小部分,并能泛化至复杂层叠与不同体型。
提出质心锚定搜索(Barycentric Anchored Search)后处理权重空间方法,无需梯度训练或增加推理成本即可提升微调视觉模型在分布偏移下的表现。
提出一种无训练扩散模型采样方法,利用条件嵌入到图像空间的局部拉回几何识别最大输出敏感度方向,沿此方向引导采样轨迹以增加多样性。 该方法在保持提示词对齐的同时显著提升了生成图像的视觉差异,避免了强扰动导致的图像质量退化或失真。 在 MS-COCO 和 BrushNet 数据集上的实验表明,该方法有效提高了提示词条件图像生成及修复任务中的样本多样性。
扩散模型纠错训练方法旨在解决推理时预测输入与训练分布不一致导致的误差累积问题。 该方法通过额外引入纠错器来训练和迭代提升去噪器在中间步的预测,显著改善了无引导生成的FID分数。 结合CFG能进一步提升多样性并减少过度饱和,训练后的纠错结果可蒸馏回基础模型以抵消额外的推理成本。
AnomalyAgent 提出具备自反思、知识检索和迭代优化能力的异常合成智能体,旨在解决数据稀缺问题并生成高语义真实感的异常样本。 该智能体配备提示生成、图像生成、质量评估、知识检索和掩码生成五个工具,采用监督微调加强化学习两阶段训练,并设计了包含任务、反思和行为三部分奖励机制。
ITO 框架通过多视角对齐与训练时融合优化图文表示,在 100M-1B 规模上性能超越 CLIP。 框架利用多视角数据增强提供判别增益,轻量融合模块在训练时作为正则化项,推理时丢弃以维持双编码器效率。 融合贡献随数据规模增长而增加,能稳定优化过程并缓解后期过拟合,相关代码已开源。
ECC 提出将电商广告创意优化重构为细粒度图像编辑而非从头生成,显著提升了广告图像的点击率(CTR)。 该方法利用 ANOVA 和随机森林识别出 28 个与 CTR 显著相关的属性,通过指令微调提示模型生成编辑建议,并引入 CPO 策略抑制 DPO 过拟合。 完整的数据流水线、提取的属性和源代码将在论文接收后开源。
研究发现图像生成Transformer存在注意力沉淀现象,但自回归模型集中于首个及全局token,双向模型则出现在模态边界、文本区域及空间角落。 这种沉淀分布在稀疏的层和头中,且随生成阶段变化;扰动沉淀头比非沉淀头产生更大生成变化,引入register token可部分改善性能。 该发现为图像生成Transformer的机制分析和注意力设计提供了基础。
该研究发布基准测试 MathVis,用于评估 LLM 将前沿数学问题可视化及执行图示辅助推理的能力。 基准包含 512 个任务,GPT-6-Astra、Claude Fable 5 和 Gemini 3.1 Pro Preview 的 pass@1 得分分别为 31.25%、26.56% 和 22.85%。
Vision2Code 是一个多领域、无参考代码基准,包含来自 15 个数据集的 539 个测试样本,涵盖图表、几何及 3D 空间等场景。 其评分方法与人类评分相关性更高,利用该方法进行拒绝采样微调,可使 Qwen3.5-9B 性能提升 16%,Phi-4-MM 提升 28%。 该基准揭示了现有模型在图表和图形领域准确率显著高于其他领域,并验证了评分方法在采样重复性和权重变化下的可靠性。
研究人员提出两种物理启发式协议,利用真实IBM量子硬件噪声生成MNIST图像。 其中一种方法结合量子与经典动力学,生成图像具有更低的FID分数;另一种方法仅使用4个量子比特。 该工作探索将量子噪声作为生成式AI中的有用资源。
该研究提出一种新的总方差/信噪比(TV/SNR)解耦框架,允许独立控制 TV 和 SNR。 框架表明,采用恒定 TV 调度可在保持 SNR 调度的情况下,持续改进具有指数爆炸 TV 的调度。 此方法将搜索空间缩减为两个可解释的独立参数,有助于在分子结构生成等复杂应用中实现快速、稳健的采样。
Golden Anchor Learning (GAL) 框架通过下游视频反馈优化 T2I 模型,在四个 I2V 模型上使 VBench 平均分提升 2.97%–8.46%,动态度提高 5.62%–38.24%。 GAL 将视频奖励转化为图像级偏好,用于 DPO 微调 T2I 生成器;尽管仅在 HunyuanVideo-1.5 上训练,效果仍可泛化至其他 I2V 模型。
DiffusionART 提出一种无需可微奖励模型即可高效训练扩散模型的在线强化学习方法。 该方法通过聚合奖励方向消除一致性力,并用信任域掩码更新替代指数移动平均(EMA)以稳定训练。
研究人员提出免训练的 CacheScope,通过归一化探针输出变化来识别高风险复用步骤,在线回退至全量去噪计算。 该方法在 FLUX.1-dev、Wan2.1-T2V-1.3B 和 Open-Sora 1.2 上取得最高 3.57 倍加速,并将中位 LPIPS 降低最多 70.1%。
4D-GSW 提出动力学感知水印框架,通过引入时空曲率(STC)指标自适应门控梯度注入,解决 4D 高斯泼溅中的时间闪烁问题。 该框架采用联合隐马尔可夫模型-随机场(HMM-MRF)能量最小化机制同步水印相位,并利用各向异性梯度路由确保水印嵌入与光度重建解耦。 实验表明,该方法在抵抗攻击的同时,维持了高渲染质量和时空一致性。
生成模型常用 FID 等指标受特征瓶颈和参数假设限制,本文提出无假设投影框架 APEX。 APEX 采用切片 Wasserstein 距离计算相似度,支持 CLIP 和 DINOv2 等开放词汇模型作为特征提取器。 该方法对视觉退化更鲁棒,且在跨数据集评估中保持稳定性。
研究提出 SpaceFlow,一种无需训练的局部可控 3D 生成管线。该方法将几何基元代理物体部分,通过为不同区域分配局部控制强度,实现生成与几何约束的平衡。 在几何固定的外观评估中,文本条件路由达到最先进水平,展现了在保持几何忠实度与生成自由度之间的竞争力。
VibeEdit 通过画布指令实现无文本提示的图像编辑,支持物体增删替换及属性修改。 模型基于 Qwen-Image-Edit 适配,使用 155 万编辑对训练。在 419 例基准测试中,VLM 评分 79.9 分,优于文本基线。
LVS 提出基于相对相机位姿的局部视图合成框架,利用 RGB-D 图像重用替代 3D Gaussian Splatting 的重复渲染。 该框架结合几何扭曲与轻量级多尺度网络预测 RGB 残差,在 GS-render 上较纯扭曲提升 PSNR 0.72dB。 此方法降低查询延迟,支持响应式场景探索,适用于增强与虚拟现实。
VINCIE-NExT 提出统一框架,通过上下文视觉演示将图像编辑能力迁移至视频,避免依赖昂贵的大规模配对视频数据。 该模型将视频编辑分解为“视频-图像-图像-视频”子任务链,引入位置编码在共享空间坐标系中对齐图像演示与视频帧,实现像素级外观传播。 在 OpenVE-Bench 上取得了最先进性能,且无需重新训练即可通过增加计算量提升编辑质量。
Hi3D 3.0 是专注对象特定保真度的图生3D系统,其几何模型 Twinkle3D 可生成 2048³ 分辨率的水密三角网格。系统支持长达 300K 几何 token 的扩散生成,通过重新设计的 DiT 架构将单步训练时间从约十分钟降至十秒。
ProtoSemImage 提出将文档渲染为四通道 HSV 图像原型,通过可变形行对齐实现可解释的文档分类。 该模型在十类任务中性能优于同构向量原型模型 4.3 至 11.8 分,但诊断发现距离匹配机制存在 20.6 分的性能短板。 该研究揭示了原型表示与匹配机制在模型性能中的不同作用。
针对多模态脑肿瘤分割中缺失模态导致的置信度误标定问题,提出事后像素级校准方法MMA-LTS。 该方法基于模态可用性token与像素级难度分数估计空间自适应温度场,在BraTS 2020和FeTS 2024数据集上提升了校准度并维持SOTA模型的分割精度。 旨在增强模型向临床部署转化的可信度。
summary_zh: GHARP 提出基于大规模重建先验的实时高斯头部动画方法,在 A100 GPU 上实现 13 倍加速,高斯点数量减少 8 倍。 该方法采用两阶段设计,离线构建身份表示,运行时通过轻量网络预测表情残差,并在 Ava-256 基准测试中达到 SOTA 质量。
研究构建了扩散模型扰动传播的理论框架,利用 KL 散度定义“路径成本”,证明其限制了但并未决定输出分布的变化。 框架推导了响应恒等式,解释了为何输出分布变化可能无法被一阶响应检测,并在预训练模型中验证了不同采样阶段的敏感度差异。 该分析被应用于基于缓存的加速场景,成功识别出导致较大图像误差的采样区间,有助于诊断实际近似带来的扰动。
提出数据空间迭代框架,移除流匹配采样中的固定时间步离散化,实现少步生成。 该框架从噪声出发,共享生成器直接在数据空间迭代精炼预测,并与分布匹配蒸馏(DMD)集成进行对比。 在ImageNet 256x256类条件生成中,该方法优于标准离散化基线,无需针对特定时间表训练。
扩散模型在生成近复制样本前,其记忆化特征已编码于学习能量景观的几何结构中。 研究提出“潜在记忆化”概念,发现局部盆地在首个记忆样本出现前即形成,且其出现遵循与记忆化时间相同的 O(n) 缩放规律。 该方法在 CelebA 和 CIFAR-10 等数据集上有效识别记忆化,扩展至 Stable Diffusion v1.4 时,循环条件-无条件散度间隙在 1% 假正率下实现 0.866 的真正率。
Diffu-LoRA通过可学习门控低秩适应实现参数高效的个性化扩散,保持预训练主干冻结。 它在Transformer线性层插入低秩组件,用双层优化和渐进剪枝在非均匀分配各层适应容量。 实验基于Stable Diffusion,在DreamBooth等数据集上提升主体保真度与提示词对齐。
扩散生成中不同预测目标导致 Diffusion Transformers 性能差异的机制源于残差流负担。作者提出 SiHC 架构直接扩展残差流带宽,在 ImageNet 256x256 上达到 FID 1.71。该研究识别出预测目标与架构共同塑造表示学习的底层机制。
论文提出 ELROND 方法,通过收集固定提示词随机生成的梯度差并应用 PCA 或稀疏自编码器分解,恢复扩散模型生成流形的切空间。 该方法在受控设定下准确恢复子空间,并在大规模模型上验证其行为,实现了比依赖外部表示的方法更广泛的能力探索。 ELROND 还能在不重新训练的情况下缓解蒸馏模型的模式坍缩问题。
ORCA 通过正交残差对齐机制,将低秩视觉特征信号融入扩散模型训练,有效解决属性绑定和空间关系等组合性失效。 该方法在 DiT-B/2 等三个骨干上均提升 FID 和 GenEval,DiT-L/2 在 200K 步达到 FID 16.65 和 GenEval 0.291,无需推理开销。 论文已被 NeurIPS 2026 接收。
该论文提出基于不变切角描述符和 Band U-Net 的 2D 碎片邻接预测框架,在合成数据集上准确率提升至 98%,PairingNet 基准测试 AUC 达 0.93。
提出残差化时间稀疏自编码器 ReSAE,通过拟合相邻时间步线性预测器并学习残差,使潜在变量捕捉超越线性可预测性的结构。 该特征在 Stable Diffusion 1.5 和 Diffusion Transformer 中生成覆盖整个去噪轨迹的特征,并定位变化进入的时间点。 ReSAE 成为研究扩散模型随时间生成图像过程的天然工具。