MiniMax Design：从操作像素，到操作语义和表达意图
MiniMax 推出 MiniMax Design，将其定义为把多模态模型能力变成生产力的 Harness。
推荐理由：MiniMax 官方介绍把多模态能力组织成生产流程的新入口，读者能理解它对视频和商业内容生产的定位。
技术方向
多模态 最新动态
文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
116 条精选近 30 天 66 条共收录 1,679 条
更新
精选归档 · 第 5 页
MiniMax 稀宇科技精选AI 评分7272
Anthropic (X)精选AI 评分7070 Claude 自主设计 14 个新蛋白结合分子
Anthropic 发布 Claude 在 de novo 蛋白设计中的测试结果，模型根据人类专家编写的提示词自主设计了针对 15 个目标中 14 个的蛋白结合分子。这些设计随后由 Adaptyv Bio 和 Twist Bioscience 独立构建并测试。
推荐理由：官方给出了Claude在de novo蛋白设计中自主生成结合蛋白的具体结果，展示了模型在复杂科学工程任务中的执行能力。
Hugging Face Blog精选AI 评分8282 Meta 发布开源多模态模型 Muse Glimmer：30B 参数，支持本地智能体应用
Meta 发布开源多模态模型 Muse Glimmer，模型为 30B 参数，基于 Muse 蒸馏而来，采用 Apache 2.0 许可，专为本地智能体应用场景设计。
推荐理由：文章展示了Muse Glimmer在本地部署场景下的自优化演示，为隐私敏感应用提供了低成本运行方案。
MiniMax 稀宇科技精选AI 评分7979 MiniMax H3 团队解析架构原理、视频生成与开源计划
MiniMax H3 技术团队回应开发者关于模型架构与优化方案的疑问。团队澄清 H3 未采用 MSA 而是结合 MoBA 与稀疏注意力，采用双 VAE 以独立控制音视频模态，并提出 Regenerate-2K 将在完成效率与质量提升后开源。
推荐理由：团队通过问答澄清了架构与优化细节，开发者可据此调整工作流。
MiniMax 稀宇科技精选AI 评分6363 MiniMax H3 开源 24 小时，超百家企业 Day 0 上线
MiniMax H3 开源 24 小时后，华为昇腾、AMD、Intel 等 9 家芯片厂商完成 Day 0 适配，Hugging Face、vLLM、腾讯云及 Leonardo 等超百家合作伙伴完成接入。在 Artificial Analysis 视频评测榜单中，H3 跻身全球前三并在质量/价格象限中处于最优梯队，位列中国模型最佳。在 Arena AI 最新评测榜单中，H3 排名并列第一。
推荐理由：开源 24 小时内的适配与评测结果，展示了该多模态视频模型的生态落地速度与实际性能站位。
MiniMax 稀宇科技精选AI 评分8282 MiniMax H3 正式开源通用视频模型
MiniMax 正式开源新一代通用视频模型 H3，支持 4 至 15 秒、2K 分辨率及立体声音频生成。H3-Base 权重已同步至 Hugging Face，支持本地部署；完整 2K 工作流需结合官方 API 调用 H3-Context-IR 与 H3-Regenerate-2K。
推荐理由：官方发布文档详细拆解了 H3 在 Hugging Face 的开源组件、支持的 2K 生成规格以及本地部署与 API 验证的完整工作流。
MiniMax 稀宇科技精选AI 评分8585 MiniMax H3发布：支持统一多模态理解与生成的开放模型
MiniMax 正式发布 H3，这是一款通用全模态生成模型，支持文本、图像、视频和声音的统一理解，可输出原生双声道音视频，最高支持 15s 2K 分辨率。官方称 H3 在指令遵循、文字与品牌信息呈现及 V2V Motion Transfer 方面表现出色，适用于广告、电商等商业场景。2K 分辨率下每秒价格不到主流模型的 1/3，未来几天将开放模型权重并适配国产芯片。
推荐理由：官方公布全模态生成能力、成本对比及开源计划，帮助用户判断其商业化与工程落地潜力。
月之暗面 Kimi精选AI 评分9494 月之暗面发布 Kimi K3：全球首个开源 3 万亿级多模态模型
Kimi K3 是一个 2.8 万亿参数模型，基于 Kimi Delta Attention 和 Attention Residuals 技术构建，原生支持视觉理解，并拥有 100 万 token 上下文窗口。
推荐理由：Kimi 官方发布 2.8 万亿参数的 Kimi K3 模型，并给出了完整的架构设计、性能评测与商用渠道。
阶跃StepFun精选AI 评分6868 阶跃星辰发布端侧模型家族 Step Edge 及配套 NPU 引擎
阶跃星辰发布面向手机、汽车等终端的端侧模型家族 Step Edge，包含基础模型、Audio、GUI 和 Gen 四个模块，并配套自研 Step Inference NPU 引擎进行推理优化。该模型家族支持低至 0.1 秒的端侧 toolcall 执行，实现多模态数据本地处理，宣称在 29 项核心评测指标中取得第一，旨在通过端云协同平衡响应速度、能力与成本。
推荐理由：展示了端侧模型在0.1秒toolcall延迟与全模态隐私保护上的落地能力，并给出29项核心指标领先的对比依据。
OpenAI精选AI 评分6464 OpenAI 更新 Codex 桌面应用
OpenAI 更新了适用于 macOS 和 Windows 的 Codex 应用，新增电脑操作、应用内浏览、图像生成、记忆和插件功能，以加速开发者工作流。
推荐理由：介绍了 Codex 在 macOS 和 Windows 应用上新增的电脑操作、应用内浏览、图像生成、记忆和插件功能，便于开发者评估其工作流变化。
The AI POV精选AI 评分8080 Meta 发布 Muse Spark 将 Subagents 确立为 Meta AI 核心
Meta 发布的 Muse Spark 模型现已在 Meta AI App 和 meta.ai 中上线，核心特性是支持并行启动多个 Subagents 处理任务。该模型专为多模态感知设计，后续将集成至 Facebook、Instagram、WhatsApp 及 Meta 眼镜等全产品线。
推荐理由：原文拆解了 Muse Spark 如何将 Subagents 作为核心功能嵌入 Meta 核心应用，揭示了其争夺日常助手入口的深层战略意图。
OpenAI精选AI 评分7575 OpenAI 发布 GPT-5.4 mini 和 nano
OpenAI 发布 GPT-5.4 mini 和 nano，两者是 GPT-5.4 更小更快的版本。新模型优化了编码、工具调用和多模态推理能力，以支持大规模 API 请求及子智能体工作负载。
推荐理由：官方明确了 GPT-5.4 mini 和 nano 针对编码与子智能体等高负载场景的优化方向，方便开发者评估替代方案。
Mistral AI精选AI 评分7272 Mistral AI 与 NVIDIA 达成合作，共同加速开源前沿模型
Mistral AI 宣布作为创始成员加入 NVIDIA Nemotron 联盟，双方将共同开发前沿开源 AI 模型。合作结合 Mistral 的模型架构、全栈平台与专有训练方法，以及 NVIDIA 的算力、开发工具和合成数据生成管线。联盟首个项目是在 NVIDIA DGX Cloud 上训练一个基础模型，作为未来 NVIDIA Nemotron 4 系列的底座，相关模型将被开源。
推荐理由：Mistral 作为 NVIDIA Nemotron 联盟创始成员，将把自有训练方法与 NVIDIA 算力、工具结合，用于开发开源前沿模型。
Google DeepMind精选AI 评分7474 Gemini 应用引入 Lyria 3 音乐生成模型
Gemini 应用上线了最新的生成音乐模型 Lyria 3，用户可以通过文本描述或上传图片生成 30 秒的音乐片段。Lyria 3 支持自动作词，用户可对风格、人声和节奏进行更多控制，生成的音频将嵌入 SynthID 水印，并支持通过 Nano Banana 自动生成封面艺术。
推荐理由：该功能通过文本或图像直接生成带词曲的30秒音乐，将多模态生成扩展到音频领域。
OpenAI精选AI 评分8686 OpenAI 发布 Sora 2 系统卡
OpenAI 发布 Sora 2 系统卡，介绍其作为最新视频和音频生成模型的能力。Sora 2 在物理准确性、画面真实感、音频同步、可控性以及风格范围上较前代有所提升。
Hugging Face Blog精选AI 评分6262 Hugging Face TRL 新增视觉语言模型多模态对齐方法 MPO、GRPO 和 GSPO
Hugging Face 在 TRL 中新增了针对视觉语言模型（VLM）的多模态对齐方法，包括混合偏好优化（MPO）、群组相对策略优化（GRPO）和群组序列策略优化（GSPO）。这些方法扩展了成对 DPO 的信号提取能力，并支持 RLOO 和 Online DPO。TRL 还集成了 vLLM 以支持在线对齐训练，并提供了原生 SFT 支持及演示笔记本。
推荐理由：原文提供了MPO、GRPO和GSPO在视觉语言模型对齐中的具体实现方法，并给出了训练脚本与vLLM集成支持。
Hugging Face Blog精选AI 评分7373 Hugging Face 发布完全开源的 SmolLM3 模型
Hugging Face 发布 3B 参数规模的 SmolLM3 模型，包括 Base 和 Instruct 两种变体，完全开源模型权重、架构细节和三阶段预训练配方。
推荐理由：Hugging Face 发布并完全开源 SmolLM3 模型及完整训练配方，为构建同类 3B 模型提供了可复现的工程蓝图。
Hugging Face Blog精选AI 评分8282 Gemma 3n 在开源生态中全面可用
Gemma 3n 正式发布，支持本地运行多模态输入。该模型分为 E2B 和 E4B 两个版本，实际参数为 5B 和 8B，但显存占用仅相当于 2B 和 4B 模型，分别只需 2GB 和 3GB 显存。
推荐理由：Gemma 3n 以 2B/4B 显存实现 5B/8B 性能，支持文本、图像、音频和视频多模态输入，并开放主流开源框架支持。
Hugging Face Blog精选AI 评分9191 Google 发布 Gemma 3：多模态、多语言与 128k 上下文的开源 LLM
Google 发布 Gemma 3 开源权重 LLM，包括 1B、4B、12B、27B 参数版本，上下文窗口从 Gemma 2 的 8k 提升至最高 128k tokens。
推荐理由：Gemma 3 支持 128k 上下文和 140 余种语言，并能在 Hugging Face 生态当日通过 pipeline 或 llama.cpp 完成推理部署。
Hugging Face Blog精选AI 评分6969 Cohere 发布 Aya Vision 8B 与 32B 多语言视觉模型
Cohere 开放 Aya Vision 8B 和 32B 权重，支持 23 种语言的图像理解、视觉问答与图文翻译。模型基于 SigLIP2-patch14-384 视觉编码器和 Aya Expanse 语言底座，通过 4 倍 Pixel Shuffle 下采样降低多模态输入开销。
推荐理由：模型在开放权重下支持 23 种语言视觉任务，并配合评测基准发布，可直接复用于多语言视觉落地。