Iris-3B 像素空间扩散微调技术解析
Iris-3B 超越潜空间:像素空间扩散训练、转换与微调 论文: https://huggingface.co/papers/2610.09450
Iris-3B 超越潜空间:像素空间扩散训练、转换与微调 论文: https://huggingface.co/papers/2610.09450
arXiv 论文《Moonworks Lunara: Modeling Artistic Intelligence》提出了一种含 10B 以下激活参数的 Diffusion Mixture Transformer 架构,并提出 CAT 训练算法,通过主动学习原则迭代更新训练分布。
Rembrandt 发布了一款支持 macOS、Windows 和 Linux 的免费开源照片编辑器,作为 Adobe Lightroom 的本地化替代方案,无需账户且无订阅费用。
芬兰部分家长使用 AI 工具去除儿童学校照片上的版权水印,导致摄影师因照片未售出而无法获得报酬。芬兰学校摄影师协会确认已发现多起未授权使用情况,指出摄影师收入依赖家庭自愿购买照片。 知识产权专家指出照片至少享有 50 年相关权利保护,未经摄影师许可复制或发布即属侵权。行业协会警告上传未成年人照片至外部 AI 服务存在个人数据风险且难以撤回,而摄影业者正面临生存挑战。
Quady3D 允许用户通过图片、文本或草图生成可下载的 3D 模型,支持 GLB、OBJ 及 STL 格式输出。 整合 Meshy 7.1、Hunyuan3D Pro 和 Rodin 2.5 模型,付费版最高提供 5000 每月积分及 50GB 存储。 免费账户验证后获 40 次生成额度,生成结果可导入 Unity 或用于 3D 打印前期检查。
扩散生成中不同预测目标导致 Diffusion Transformers 性能差异的机制源于残差流负担。作者提出 SiHC 架构直接扩展残差流带宽,在 ImageNet 256x256 上达到 FID 1.71。该研究识别出预测目标与架构共同塑造表示学习的底层机制。
论文提出 ELROND 方法,通过收集固定提示词随机生成的梯度差并应用 PCA 或稀疏自编码器分解,恢复扩散模型生成流形的切空间。 该方法在受控设定下准确恢复子空间,并在大规模模型上验证其行为,实现了比依赖外部表示的方法更广泛的能力探索。 ELROND 还能在不重新训练的情况下缓解蒸馏模型的模式坍缩问题。
ORCA 通过正交残差对齐机制,将低秩视觉特征信号融入扩散模型训练,有效解决属性绑定和空间关系等组合性失效。 该方法在 DiT-B/2 等三个骨干上均提升 FID 和 GenEval,DiT-L/2 在 200K 步达到 FID 16.65 和 GenEval 0.291,无需推理开销。 论文已被 NeurIPS 2026 接收。
该论文提出基于不变切角描述符和 Band U-Net 的 2D 碎片邻接预测框架,在合成数据集上准确率提升至 98%,PairingNet 基准测试 AUC 达 0.93。
提出残差化时间稀疏自编码器 ReSAE,通过拟合相邻时间步线性预测器并学习残差,使潜在变量捕捉超越线性可预测性的结构。 该特征在 Stable Diffusion 1.5 和 Diffusion Transformer 中生成覆盖整个去噪轨迹的特征,并定位变化进入的时间点。 ReSAE 成为研究扩散模型随时间生成图像过程的天然工具。
该综述分析前沿图像生成系统如何产生逼真照片、可读文档及一致人物地点描绘。 当这些合成产物被呈现为真实事件记录时,可能影响新闻、金融、身份验证、医疗和司法领域的决策。 文章区分了供应商能力声明、已记录事故、实验发现和前瞻性危害路径,并比较了提供商限制、来源系统、水印、平台标签和政策义务的功能,指出高风险决策需认证源记录、可信渠道佐证及适度审查。
StoryBlender 提出一种基于故事中心反思机制的 3D 故事板生成框架,实现镜头间一致性与显式可编辑性。 该系统采用三阶段流水线:语义空间定位构建连续性记忆图,规范资产实例化维持视觉身份,时空动态通过视觉指标实现布局设计。 实验表明,StoryBlender 在一致性和可编辑性上显著优于扩散模型和 3D 基准方法,支持对相机和视觉资产的直接精确编辑。
UltraText Bench 发布 432 条中英对等稠密视觉文本提示词,覆盖 24 类场景与三级难度,每词包含 4-12 个文本区域。
新模型 OmniCam 利用单张全景图和文本描述自回归生成相机位姿序列,在 OmniCaT 数据集中将轨迹误差降低 28-47%,碰撞率降低 65.8%。 该模型采用几何感知的位姿 Token 学习,包含全景点云编码器及绝对旋转与相对平移混合 Token 化机制,OmniCaT 数据集包含 267,700 条轨迹。 下游实验验证了其在受控视频生成与机器人主动感知中的应用潜力。
summary_zh: Iris-3B 30 亿参数像素空间文本生成图像模型未能在单目深度估计与 4 倍 DIV2K 图像恢复任务中显著超越 FLUX.2 Klein 潜在模型。
该研究提出参考绑定 Visual Jev 奖励机制,解决多主体图像生成中主体属性与关系验证难题。 使用 Qwen3.5-4B 验证器训练,通过 GPT-5.4 综合评分从 41.78 提升至 52.50。 基于 200 个 MICo-150K 任务与 30 次更新实现优化,但离线人工评估未显示统计显著优势。
该研究提出一种利用扩散模型生成图像的方法,通过从用户历史偏好对中直接学习个性化奖励模型来解决对齐难题。 方法采用自编码器将数百个视觉属性压缩为50个基于属性的偏好维度,并训练评估器进行评分。
SlideRuler 利用切片内部区域作为内部对照,估计并校正采集导致的病理基础模型嵌入漂移,同时保持基础模型冻结。 该方法在 5 台 SCORPION 扫描仪上测试,学习转移使平均目标到源嵌入距离较原始嵌入减少 16.3%-38.5%,源锚定变体进一步减少 47.7%-83.6% 的源特征位移。
针对语义分割数据集蒸馏中的长尾类别不平衡与像素级对齐难题,D3S2 提出了一种两阶段扩散引导框架。 该框架结合类别平衡掩码选择与扩散图像合成,在 1% 压缩率下,于 ADE20K 和 COCO-Stuff 数据集使用 Mask2Former (Swin-S) 分别取得 24.99% 和 35.49% 的 mIoU。 实验结果表明 D3S2 显著优于随机选择基线,代码已公开。
深度世界模型 DepthWorld 联合预测多视图 RGB 和深度,基于 Stable Video Diffusion 架构,在 DROID-3D 数据集上训练。
论文提出 Dual-FDM 范式,通过频率域解耦双图像引用,解决扩散模型去噪过程中频率纠缠导致的文本错位问题。 在定制化风格迁移中替换背景中频带,在色彩风格迁移中替换背景低频带,利用替换频段作为 Key/Value 重构查询前景和背景。 Dual-FDM 在个性化图像生成任务上优于最先进的扩散模型,论文被 NeurIPS 2026 接收且代码已公开。
OpenSplatGraph 提出统一框架,直接从在线 Gaussian 开放词汇语义图构建持久 3D 场景图。 框架引入可靠性感知语义场以提取置信度感知的对象实例,支持语言引导的对象定位和结构化关系推理。
ElasticFit 框架将 VLM 推理转化为显式 3D 约束,实现物体在受限空间内的几何适配。 在固定资产基准中,空间关系成功率提升至 69.7%,支撑成功率达 91.7%。该论文已被 NeurIPS 2026 接收。
WildMatch 通过仅使用身份标签对预训练关键点匹配器进行对比微调,实现了野生动物图像匹配的弱监督适应。 该方法挖掘信息图像对,利用身份一致性生成弱监督信号,增强了同类个体间的对应关系并抑制了不同个体间的对应。在开源数据集上,其精度优于现成匹配器和最先进融合方法,且能学习可迁移的对应先验。
D-OPCD 方法将 Agent 生成的特权提示词知识蒸馏进扩散模型权重,使模型仅依赖原始查询即可保留部分 Agent 增益。 该方法结合 Auto Skill Evolver 框架,在四个基准测试中将平均直接生成得分从 60.52 提升至 65.09。 内化后的模型支持第二轮技能进化,在无技能 Agent 基础上额外提升 1.83 分,指向系统与模型的持续共同演化。
提出能量自适应噪声调度与白化策略,用于变换域扩散模型。该方法结合全局频谱白化与能量条件噪声分配,保持高斯转移的闭式边缘分布,且兼容标准 DDPM 和 DDIM 流程,无需修改扩散架构。
一款基于 Rust 开发、利用 AI 技术的 Adobe Creative Suite 开源版本已亮相。 该工具旨在为用户提供与主流创意套件相似的开源替代方案,强调其技术栈构成。
Google 已允许公众使用 SynthID 检测器检查图像、视频或音频是否由 Google 或其合作伙伴的 AI 模型生成。该工具支持识别 Gemini、Veo 和 Lyria 等模型嵌入的不可见水印,并兼容 JPG、PNG、MP4 和 MP3 格式。
该科幻剧集工作流使用 Claude 协同撰写文案,采用 Kokoro TTS 配音,每集生成约 381 张 Flux 图像,并通过 Python 脚本与 CapCut 完成剪辑同步。 制作中 Flux 生成图像的文字出现乱码需人工筛查,单集时长接近 50 分钟因此拆分为两部分;本地运行的 Qwen3-TTS 在添加情绪标签时表现不稳定,仅 Kokoro TTS 效果可用。
summary_zh: ArtCraft 发布了一套面向艺术家的开源 AI 创作工具,旨在通过图形化界面替代纯文本提示,实现更精确的画面控制。 该工具集涵盖 Image to 3D Mesh、背景移除、2D/3D 合成及角色摆姿等功能,并支持在浏览器中直接运行,无需安装。
作者使用同一提示词让 Claude Opus 5.5 和 GPT-6 Astra 生成交互可视化,结果显示 Opus 5.5 在 1 小时 25 分钟内完成,API 成本约 74 美元,生成设计摆脱了典型的 AI 审美痕迹。
谷歌发布实验性游戏平台Playground,用户通过文本提示即可完成游戏的创建、游玩和分享,全程无需编码。该平台基于浏览器,支持多设备游玩、多人游戏及排行榜功能,并预告即将集成Unity Spark以支持专业级游戏机制和高保真3D能力。Playground于当日面向美国18+用户推出,创建访问权限将根据Google One会员等级分层开放。
Qwen-Image-2.1-Multiple-Angles-LoRA 模型:https://huggingface.co/akhaliq/Qwen-Image-2.1-Multiple-Angles-LoRA
彭博社调查发现开源 AI 图像工具让儿童性剥削者能生成虐待材料且不受监管。下载模型绕过了托管服务的内容过滤和遥测,使执法变得几乎不可能,并将检测负担转移给已经捉襟见肘的平台和执法部门。
推荐理由:调查揭示了模型下载绕过云端审查的盲区,说明开源分发架构对现有安全过滤机制的冲击。
该研究开发了FedDermaSeg联邦学习模型,用于解决皮肤病变分割中的隐私保护问题。 模型在ISIC 2018数据集上模拟分布式环境训练,并在ISIC 2018测试集和PH2数据集上评估。 实验表明,联邦模型性能与集中式训练相当,且优于本地模型,无需集中聚合医疗图像。
RefRoute 框架解耦了条件化成本与参考图像数量,在 ManyRef100 基准测试中,其 Weighted-Ref-VIEScore 达到 36.06,显著高于 FLUX.2-Klein-9B 的 8.88。
研究发现文生图模型的 VAE 潜空间共享与亮度及对立色对齐的颜色子空间,通过线性近似编码器在 SD1.5 到 FLUX.2 等模型中验证了该特性。 提出 ColorTuning、饱和度控制和颜色迁移三项应用,其中 ColorTuning 在 GenColorBench 的 CSS3/X11 系统上实现精细数值颜色生成的 SOTA 效果。 代码和模型已公开。
研究提出 Relative Taylor Debiasing (RTD) 算法,实现了 O(d/ε²) 的样本复杂度最优 FID 估计。RTD 在 50K 样本预算下达到最低平均估计误差,其 VALE₂ 估计器仅用 10K 样本即可匹敌 50K 样本下的 FID∞ 精度。 RTD 利用 U-statistics 启发的去偏技术,显著提升了有限样本下生成模型评估的准确性与效率。
提出 DDT-RBE 以移除扩散模型编码器中自注意力与 MLP 模块周围的残差连接。 该方法通过融合输入 Patch 嵌入与中间及最终编码器特征来保留低层细节,同时允许各块学习更抽象的表征。 DDT-RBE 在图像分类、语义分割等视觉理解任务及 ImageNet 生成任务(更低 FID)上均优于 DDT。
开发者发布开源项目 iloveposts,这是一个运行在 Cloudflare 上的单 Worker 应用,能将 X 帖子链接转化为包含 PNG 图片和交互式 HTML 的视觉卡片。该工具通过单次 LLM 请求设计卡片外观,成本约为 0.01 至 0.02 美元。