视觉生成能否扩展统一多模态模型的知识
提出知识转移探测(KTP)协议,在7类知识、3个UMMs上验证图像生成监督对文本问答的可迁移性,显示直接但分布不均的转移。 引入文本对齐与图文交错对齐,使生成与问答共享知识;在选中实体上指导可提升其他实体知识获取,无需额外问答监督。 结果支持视觉生成作为超越文本监督的知识来源,指向联合优化训练数据设计与模型架构以提升知识可访问性。
提出知识转移探测(KTP)协议,在7类知识、3个UMMs上验证图像生成监督对文本问答的可迁移性,显示直接但分布不均的转移。 引入文本对齐与图文交错对齐,使生成与问答共享知识;在选中实体上指导可提升其他实体知识获取,无需额外问答监督。 结果支持视觉生成作为超越文本监督的知识来源,指向联合优化训练数据设计与模型架构以提升知识可访问性。
研究人员提出局部外观净化(LAP)方法,通过移除可局部预测的内容并对齐残差,提升扩散模型生成质量。 LAP 仅修改对齐目标,无需更改扩散训练或推理流程。在 ImageNet-256 上,LAP 使 MAE 的 FID 从 53.1 降至 42.3,该增益在 13 个编码器中通过常量读出测试得到验证(Spearman ρ=0.94)。
研究团队发布包含320个手工设计案例的基准WorldCast,用于评估多步世界状态预测能力。 评测了12款代表性模型,GPT-Image-2.5得分72.8,Nano Banana Pro仅得42.8分,显示模型间存在巨大差距。 研究发现当前模型在处理复杂上下文和推理任务时存在明显缺陷,亟需动态规划与推理能力。
生成模型输出多样性不足,MSR 框架在测试时通过外部化采样实现多样性对齐。 该框架从语料挖掘分类模式并采样属性配置,生成模型仅作为条件渲染器,在天气生成、网页设计及 3D 资产等任务中提升了与语料分布的对齐及多样性。
针对流匹配模型推理成本依赖函数评估次数(NFEs)的问题,提出免训练估计器 FlowBudget。 该方法无需生成多样本或执行 FID 与 NFE 扫描,即可通过求解器相对采样复杂度映射数值容差至步长预算。 实验覆盖 SiT、FlowDCN 及 Rectified Flow 模型,代码已开源。
DMAD 将分布匹配重构为对抗分类,利用共享骨干网络的双判别器直接学习对数密度比,避免了辅助扩散模型拟合的额外内存与计算开销。该方法在 ImageNet-64x64 上以单步生成达到 FID 1.04,在 COCO-10K 上四步 SDXL 生成 FID 为 14.47。在 MiniMax-H3-33B 模型上,其四步学生模型在音视频联合生成的人均偏好率上超越 DMD2 和 rCM。
研究提出 MultiStroke 操作符,通过线性插值实现从粗到细的笔触变化,旨在简化扩散模型中预测目标。 在 DDPM 和流匹配模型中应用该操作符,FID 指标最多降低 70.2%。 该方法特别优化了去噪链中具有高噪声时间步的优化与预测挑战,潜在降低了实际应用的计算成本。
Hugging Face 官方宣布 FLUX.3 Image Klein 已集成到 Diffusers,该模型支持文生图、多参考图生图以及基于 bounding box 的图像布局控制。H100 上蒸馏版 checkpoint 可在约 2 秒内生成 1024 × 1024 图像,并支持 NVFP4 和 FP8 量化权重。
推荐理由:介绍 FLUX.3 Image Klein 在 Diffusers 的集成细节,重点展示了 bounding-box 布局控制功能及多种量化推理方案。
研究在 AgentDrawBench 200 条提示词的零样本绘图测试中发现,编码智能体擅长保持结构并满足精确视觉约束,但在感知丰富度上存在局限。 其视觉表现力随绘图界面变化,且重构的视觉代码在视觉问答任务中有时比原始图像支持更高的准确性。 结果证实编码智能体在生成开始前即能在内部维持一致且连贯的世界模型。
Priming Models 提出简单两阶段框架,通过像素去噪预训练后接特征分布微调,彻底解决单步生成的分布训练难题。 在 ImageNet 256×256 分辨率下,该方法以约十分之一训练算力实现 1.19 的 SOTA FID,显著优化算力与生成质量帕累托前沿。 代码库已开源,适用于类条件图像生成、文生图及世界模型等任务。
该研究提出有限时能量学习,使Metropolis-Hastings采样器在固定步数后的分布更准确。 在图上生成任务中,基于预训练模型的初始化与提议,训练得到的能量函数在12个成对二值目标上表现更优。 在MOSES基准上,与预训练GEM组合的学习能量将FCD降低3.7%–10.5%。
该扩散模型负向引导方法通过正未标记学习采样自显式目标密度,解决现有方法无法通过增加计算系统降低偏差的问题。 方法在扩散时间步估计样本属于不期望条件的概率,利用条件样本和扩散粒子进行轻量级在线训练,并通过序贯蒙特卡洛校正残余失配,在粒子极限下实现渐近精确。
循环网络 Continuous Thought Machine (CTM) 在 ImageNet 图像分类中表现出单一策略,其思维轨迹由吸引子固定点序列构成。 CTM 的非正常映射特性显著增强了非线性;图像无关的增量对下一查询的预测 R^2 达到 0.98,打乱查询仅损失 7% 分类准确率。
针对扩散模型语义水印易受篡改和伪造攻击的问题,研究者提出免训练的即插即用噪声提取框架 PGID。 PGID 通过渐进式反演-去噪循环消除潜在空间偏移,将受扰动的潜变量投影回其原本所属的区域。 该方法在多种方案中成功恢复了被移除的水印并识别了伪造实例,重建了检测可靠性。
WeLike2Party 提出多人动画框架,无需提取显式姿态或网格,直接通过视频上下文条件生成动画,解决了交互主体间的身份-运动绑定难题。 引入参考非对称 RoPE 条件化和身份绑定监督,构建了包含 14.4K 视频对的 MotionTwin 数据集及专属评测基准。 在主体级视觉保真度和感知质量上,WeLike2Party 优于近期 SOTA 方法,特别是在存在严重遮挡的多人交互场景中表现更佳。
HiLo-Token 通过输入自适应 Token 压缩框架实现图像编辑 DiT 加速,在 A100 上取得 1.67x 至 3.13x 推理速度提升且无质量退化。 框架在编辑区域保留所有 Token,区域外利用高频选择与降采样表示低频结构;生产部署中该优化使服务所需 GPU 数量减少 33%。
IMAGAgent 提出了一种“规划-执行-反思”闭环的多轮图像编辑智能体框架,旨在解决现有方法在交互中易出现错误累积和语义漂移的问题。 该框架包含约束感知规划模块、工具链编排模块及多专家协同反思机制,利用视觉语言模型(VLM)和大语言模型(LLM)实现指令分解与自适应修正。
OpenVTON-Bench 是一个包含约 100K 高分辨率图像对(最高 $1536\times1536$)的虚拟试穿基准,旨在解决现有评测指标难以量化细粒度纹理和语义一致性的瓶颈。
研究表明,在59万份胸部X光片上训练时,胸部X光片监督预训练的效用优于其他起始点。 在严格隐私预算下,该方法的AUC比自然图像预训练高15.3%,且在最差的亚组中仍保持领先。 该发现说明,选择与目标任务一致的预训练领域比调整训练目标对隐私-效用权衡影响更大。
UnSAMv2 通过自监督学习增强 SAM-2,实现无需人工标注的任意粒度分割。仅用 6K 无标注图像及 0.02% 额外参数,在 11+ 基准测试中显著提升 NoC90、1-IoU 和 AR1000 指标。 代码、数据集及 Demo 已公开,语言引导管线将 1-IoU 从 40.4 提升至 47.3,验证了小样本无标注数据的有效性。
研究提出SALD采样器及变体VA-SALD,用于追踪移动目标分布并实现无训练引导生成。VA-SALD利用预训练score模型,通过时间减速修正引导偏差,并提供非渐近收敛保证。该框架为扩散模型等生成家族提供了有原则的无训练方法,代码已开源。
提出一种使设计探索成为实施前显式阶段的推理架构,将主题采样的选择覆盖率从1个选项提升至近3个。 该架构利用Verbalized Sampling生成带典型性权重的设计规范,并通过外部策略采样方向,在不改变代码生成温度的情况下控制美学探索。 在168个基准提示中,视觉资产生成的LLM裁判胜率/败率比为1.32;近两月的在线研究覆盖339万任务和87416个标注对话,验证了该架构对用户交互的影响。
提出FDDA方法,冻结潜在生成器并直接优化解码器以解决训练-生成分布不匹配问题。 在11个评估模型中,FDDA使gFDr$^6$额外降低10.2%-57.2%,总耗时较生成器侧FD后训练缩短3.6倍至328.7倍。
SSM-Attack 提出基于 Selective State Space Models 的黑盒人脸隐私保护框架,在 CelebA-HQ、LADN 和 FFHQ 上的平均攻击成功率分别达 87.10%、86.90% 和 81.15%。 该框架使用 5.73M 参数的分配网络,在 0.10 像素变化限制下,较均匀映射提升 SSIM 0.044、PSNR 1.62 dB 和 FID 11.2 点。
Barycentric Guidance 提出了一种免训练框架,无需微调即可将预训练基础图像编辑器转化为在 valence-arousal (VA) 空间上的连续情感控制器。 该方法将目标 VA 点映射为基于单纯形的引导权重。在三个面部数据集上,相比最强基线,VA 目标准确率提升 25-29%,VA 平面覆盖率扩展 28-50%,表情多样性增加 29-49%。
JtT 模型通过直接操作坐标空间且无需刚性架构约束,解决了单图像预测物体刚性运动的问题。 该扩散 Transformer 采用逐帧速度扩散参数化,结合查询点全分辨率 RGB,约 50M 参数即可接近真值刚性指标。 模型揭示了规模扩大反而导致多样性下降的现象,并采用严格的检查点平均评估协议。
H-DDCM 提出一种可扩展的生成式压缩框架,用隐式随机 Hadamard 字典替代高斯码本,解决 Turbo-DDCM 在高分辨率下的计算与内存瓶颈。 该技术利用快速 Walsh-Hadamard 变换实现 $O(d \log d)$ 计算量与 $O(d)$ 内存,并引入无表格字典编码以支持大维度组合编码,无需重新训练扩散或流模型。
作者提出 APT 框架,通过三个智能体协作,根据模型能力演变自适应生成后训练数据。 该框架协调构建评估集、诊断模型缺陷并生成强调弱项的强化学习提示,形成递归自我改进反馈环。 在多种基础模型、基准及架构上的实验证明,APT 具备模型、基准和架构无关性,且全流程自动化。
RewardHarness 提出免训练、自进化的智能体奖励框架,仅用100条偏好演示和0.05%的 EditReward 数据,在 EditReward-Bench 和 GenAI-Bench 上平均准确率47.4%,超 GPT-5 5.3分。 作为奖励信号用于 FlowGRPO 时,RL微调模型在 ImgEdit-Bench 得分3.52;工具与代码已开源。
提出 AEIOU 统一防御框架,利用文本编码器隐藏状态特征检测 NSFW 提示词,在各类数据集上准确率超过 95%。 该框架推理时间极少,效率提升至少 10 倍,支持实时结果解释及通过数据增强进行优化,能兼容多种 T2I 架构。 AEIOU 在对抗自适应攻击方面表现有效,并在少样本和多标签场景下显著优于现有商用及开源审核工具。
9B 参数统一模型 InfoVis 发布,支持幻灯片生成与编辑,配套 13M 预训练及 1.9M 微调数据引擎。 模型基于 FLUX.2-klein-base-9B 后训练,在 1527 实例的 VisSlideBench 上总分 7.94,超越所有开源模型。 开源模型、代码、数据及基准,但在美学质量上仍落后于 Nano-Banana-2。
BigCell 是首个生成原生吉像素分辨率全切片病理图像的方法,在 120,000 张公开数据集上训练,支持生成 32,768$\times$32,768 像素图像。 采用推理时滑动窗口流水线与自适应调度策略,将图像生成速度提升 3 倍以上,并提出 8k 分辨率的文本到图像合成模型。 使用合成样本增强数据,使幻灯片级少样本分类性能较基线提升最高达 18%。
Pristine Models 提出一种新颖的文生图生成架构,通过注意力机制在预训练阶段将安全与不安全概念知识隔离至独立参数分支,并在推理时移除不安全分支。 该模型在 ImageNet 和 CC12M 数据集上验证有效,图像质量和文本对齐度均优于仅使用安全数据训练或事后概念移除的方法,在保留全数据预训练效用的同时显著提升生成安全性。
GenRevisit 框架通过联合选择续接图像与编辑动作,解决迭代编辑中图像退化问题。 使用 SFT 结合 agentic 强化学习训练,并提出 NACA 优化信用分配。 在 GenEval2 上,基于 Qwen-Image-2512 和 Z-Image-Turbo 的 GM 分数分别达 84.3 和 74.4,超过最强基线。
Unravel 提出了一种无需训练的框架,可将单张图像转化为交互式 3D 场景,其中所有物体均为独立可移动资产。 该框架采用代理式架构逐层剥离图像,利用视觉语言模型规划可见物体,并通过物理沉降消除悬空与穿透现象。 实验表明,该方法比现有技术能恢复更多物体,并更忠实地放置物体,生成物理上更合理的 3D 场景。
论文提出 BridgeTwist,一种用于预训练 Schrödinger 桥模型的免训练条件采样器。 其核心机制是通过结合速度和 score 场构建末端预测器作为闭环替代目标,并采用时间相关指数调节扭曲项。 实证显示 BridgeTwist 在类条件和文本提示图像生成中优于免训练基线,在修复和超分辨率任务上与专用求解器性能相当。
HGA-Quant 提出无训练的 PTQ 框架,在 Infinity 模型上以 W4A5.6 混合精度实现接近全精度生成质量,而现有 W4A6 方法仍可见画质退化。 框架包含 T-BGR 权重校准目标与 CAPS 激活精度调度,在多个 ARVG backbone 上提升低比特量化鲁棒性,代码已开放。
针对空间文本到图像生成的强化学习,研究提出课程引导框架及智能体奖励模型 SpatialCritic。该模型结合空间感知工具,通过能力图组织基础能力以指导 rollout 过程。 SpatialCritic 使用 8B 骨干网络,实现 95.1% 验证准确率,性能超越 320B 的 GLM-5.3-Flash,并将 SD3.5-Medium 平均分从 78.4 提升至 83.9。
CAPTOR 在胸腹盆部肿瘤 CT 分类与检索任务中表现优于现有基线模型,其中 CAP 子集疾病检测 AUC 达 0.767,显著高于次优的 0.695(p<0.001)。
AesCode 是一种基于设计图的代码生成模型,利用解耦的跨模态奖励优化视觉美学与布局。 该模型通过确定性验证器解析可解析属性,并结合 VLM 评委与样本专属的视觉图量规(VGR)评估不可解析属性。 相比 Qwen3-VL 基线,AesCode-8B 和 32B 的视觉质量分别提升 31.1 和 22.4 个百分点,达到与 GPT-5.5 等闭源前沿模型相当的水平。