Google 发布 SigLIP 2 多语言视觉语言编码器
Google 发布 SigLIP 2 多语言视觉语言编码器，作者团队在 SigLIP 的 sigmoid loss 之上叠加解码器、全局-局部自蒸馏和掩码预测等辅助目标，以提升语义理解、定位和密集特征能力。
推荐理由：作者拆解了 SigLIP 2 相对 SigLIP 新增的多项训练目标与动态分辨率变体，并给出可直接运行的推理与对比方法。
技术方向
多模态 最新动态
文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
116 条精选近 30 天 66 条共收录 1,679 条
更新
精选归档 · 第 6 页
Hugging Face Blog精选AI 评分7575
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 SmolVLM2 系列视频理解模型
Hugging Face 发布 SmolVLM2 多模态模型家族，包含 2.2B、500M 和 256M 三个尺寸，用于视频理解任务。2.2B 模型在 Video-MME 基准上超过现有 2B 级别模型；500M 版本支持在 iPhone 本地运行；所有模型均可通过 Transformers 和 MLX 框架进行推理和微调。
推荐理由：SmolVLM2 提供 2.2B、500M 和 256M 三种尺寸视频模型并支持端侧运行，读者可按设备内存直接评估部署门槛。
Hugging Face Blog精选AI 评分6666 Google 发布 PaliGemma 2 Mix 多任务指令视觉语言模型
Google 发布 PaliGemma 2 mix，这是一组在多种视觉语言任务上微调的指令型视觉语言模型，覆盖 3B、10B 和 28B 规模。文章展示了其处理开放式任务提示和检测定位任务的方式，并提供了通过 Transformers 进行推理的代码和在线演示。
推荐理由：文章解释了 mix 变体如何作为预训练模型的下游能力参考，并给出可运行的推理示例。
Hugging Face Blog精选AI 评分8080 Hugging Face 发布 PaliGemma 2 视觉语言模型
PaliGemma 2 是由 Google 推出的新一版视觉语言模型，文章作为官方发布介绍。
Mistral AI精选AI 评分7575 Mistral Large 2 发布：123B 参数、128k 上下文，性能对齐 GPT-4o 和 Claude 3 Opus
Mistral 发布新模型 Mistral Large 2，123B 参数、128k 上下文窗口，MMLU 预训练版本达到 84.0%。Mistral 称其在代码和推理上表现与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当，并优化了指令跟随、减少模型幻觉。
推荐理由：官方给出了 MMLU 84.0%、123B 参数、128k 上下文窗口和 la Plateforme 上的部署入口，可判断它与 GPT-4o、Claude 3 Opus 等模型在性价比上的位置。
Hugging Face Blog精选AI 评分7575 Google开源视觉语言模型PaliGemma：基于SigLIP与Gemma-2B的开放权重
Google 发布开源视觉语言模型 PaliGemma，架构结合 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器。模型在 Hugging Face 提供预训练（pt）、混合任务微调（mix）及特定基准微调（ft）三种类型，支持 224x224 至 896x896 分辨率与多种精度。
推荐理由：PaliGemma提供预训练与微调混合权重，适合在多模态任务中复用SigLIP加Gemma的组合流程。
Hugging Face Blog精选AI 评分7878 Idefics2 发布：Hugging Face 推出 8B 开源多模态视觉语言模型
Hugging Face 发布 Idefics2，一个 8B 参数量的通用多模态视觉语言模型，支持输入文本与图像序列并生成文本响应，Apache 2.0 开源。
推荐理由：Idefics2 采用 Apache 2.0 协议开源 8B 多模态模型，并提供配套微调数据 The Cauldron，为多模态社区提供了易用的基础与工具。
Hugging Face Blog精选AI 评分6262 Vision Language Models 原理与微调指南
Hugging Face 博客解析视觉语言模型（VLM）架构原理，介绍 LLaVA、Qwen-VL 等主流开源模型及其应用场景。指南详细说明了如何使用 transformers 库进行推理，并利用 TRL 的 SFTTrainer 在 llava-instruct 数据集上对 VLM 进行指令微调的完整流程。
推荐理由：提供VLM结构与微调指南，并给出基于TRL的完整代码示例，帮助降低多模态模型使用门槛。
OpenAI精选AI 评分9393 ChatGPT 支持视觉、听觉和语音交互
OpenAI 宣布 ChatGPT 现具备视觉、听觉和语音交互功能。
Hugging Face Blog精选AI 评分6565 3D Gaussian Splatting 技术原理与工程实践解读
3D Gaussian Splatting 是一种利用高斯点替代三角形网格的实时光栅化技术，能够从少量图像中学习并渲染照片级真实感场景。该技术将 SfM 点云转化为可训练的高斯参数（位置、协方差、颜色、透明度），通过可微光栅化器进行前向渲染与梯度优化，并利用自动加密（分裂/克隆）和剪枝策略提升细节恢复质量。
推荐理由：基于官方开源实现和 COLMAP 流程，拆解 3D Gaussian Splatting 的网格化训练过程及其在现有渲染管线中的适配限制。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布 IDEFICS：开源复现的视觉语言模型
Hugging Face 发布开源多模态模型 IDEFICS，该模型是对 DeepMind Flamingo 的开源复现，可处理图像和文本序列输入并生成文本输出。
推荐理由：该模型基于公开数据复现了专有视觉语言模型，并展示了红队测试与透明度实践。
Hugging Face Blog精选AI 评分7272 Stable Diffusion XL 支持 Mac 端侧运行及 Core ML 高级量化
Hugging Face 与 Apple 合作实现 Stable Diffusion XL 在 Apple Silicon Mac 上的本地运行，通过混合位调色（Mixed-Bit Palettization）技术将 UNet 模型压缩至等效 4.5 bit/参数，体积从 4.8 GB 降至 1.4 GB（减少71%）且生成质量优良。
推荐理由：介绍了混合位调色量化技术，可将模型尺寸降低71%且保持质量，为本地化部署提供了实用方法。
OpenAI精选AI 评分9595 OpenAI发布GPT-4大模型
OpenAI发布GPT-4大模型，该模型为大型多模态模型，接受图像和文本输入并输出文本。尽管在许多现实场景中能力不及人类，但GPT-4在各类专业与学术基准测试中展现出人类水平的表现。
推荐理由：原文给出GPT-4的多模态定位和基准表现描述，读者可据此判断该模型在专业场景中的能力边界。
Hugging Face Blog精选AI 评分7070 BLIP-2 实现零样本图像到文本生成的指南
Salesforce Research 的 BLIP-2 模型已集成至 Hugging Face Transformers，支持零样本图像描述、带提示的图像描述、视觉问答和聊天式提示。
推荐理由：解释了BLIP-2如何用轻量级Q-Former桥接图像编码器和大语言模型，给出了零样本图像描述、问答和聊天式提示的完整代码流程。
Hugging Face Blog精选AI 评分8989 Hugging Face 发布 BLOOM：世界最大开源多语言大模型
Hugging Face 发布 176B 参数开源模型 BLOOM，支持 46 种自然语言和 13 种编程语言。该模型由 70 多个国家的 1000 余名研究者历时一年协作完成，并首次开放训练中间检查点与推理 API，支持学术界和独立开发者下载、运行及基于 Responsible AI 许可进行二次开发。
推荐理由：BLOOM 作为 176B 参数开源模型，开放了 46 种自然语言和 13 种编程语言的能力验证与二次开发入口。
OpenAI精选AI 评分7676 OpenAI 发布 CLIP：连接文本与图像的神经网络
OpenAI 介绍了一种名为 CLIP 的神经网络，它通过自然语言监督高效学习视觉概念。CLIP 可用于任何视觉分类基准，只需提供要识别的视觉类别名称即可，具有类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：展示了通过自然语言监督学习视觉概念的方法，确立了零样本图像分类的新范式。