Gemma 3n 在开源生态中全面可用
Gemma 3n 正式发布,支持本地运行多模态输入。该模型分为 E2B 和 E4B 两个版本,实际参数为 5B 和 8B,但显存占用仅相当于 2B 和 4B 模型,分别只需 2GB 和 3GB 显存。
推荐理由:Gemma 3n 以 2B/4B 显存实现 5B/8B 性能,支持文本、图像、音频和视频多模态输入,并开放主流开源框架支持。
内容形态
新模型的发布、开源与迭代:大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
178 条精选近 30 天 75 条共收录 423 条
Gemma 3n 正式发布,支持本地运行多模态输入。该模型分为 E2B 和 E4B 两个版本,实际参数为 5B 和 8B,但显存占用仅相当于 2B 和 4B 模型,分别只需 2GB 和 3GB 显存。
推荐理由:Gemma 3n 以 2B/4B 显存实现 5B/8B 性能,支持文本、图像、音频和视频多模态输入,并开放主流开源框架支持。
H Company 在 Hugging Face 上发布开源行动视觉语言模型 Holo1 家族和 WebClick 多模态定位基准。
推荐理由:开源Holo1行动VLM家族与Surfer-H代理给出可对比的成本和精度基准,读者可评估网页自动化的落地门槛。
NVIDIA 在 GTC 2025 大会上发布了三项开源成果:Cosmos Transfer 世界基础模型、15TB 物理 AI 数据集以及通用类人推理模型 Isaac GR00T N1。
推荐理由:NVIDIA 在 GTC 2025 开源了 Cosmos Transfer 与 Isaac GR00T N1 模型及数据集,为开发者提供了训练具身智能体的完整工具链。
Google 发布 Gemma 3 开源权重 LLM,包括 1B、4B、12B、27B 参数版本,上下文窗口从 Gemma 2 的 8k 提升至最高 128k tokens。
推荐理由:Gemma 3 支持 128k 上下文和 140 余种语言,并能在 Hugging Face 生态当日通过 pipeline 或 llama.cpp 完成推理部署。
Cohere 开放 Aya Vision 8B 和 32B 权重,支持 23 种语言的图像理解、视觉问答与图文翻译。模型基于 SigLIP2-patch14-384 视觉编码器和 Aya Expanse 语言底座,通过 4 倍 Pixel Shuffle 下采样降低多模态输入开销。
推荐理由:模型在开放权重下支持 23 种语言视觉任务,并配合评测基准发布,可直接复用于多语言视觉落地。
Google 发布 SigLIP 2 多语言视觉语言编码器,作者团队在 SigLIP 的 sigmoid loss 之上叠加解码器、全局-局部自蒸馏和掩码预测等辅助目标,以提升语义理解、定位和密集特征能力。
推荐理由:作者拆解了 SigLIP 2 相对 SigLIP 新增的多项训练目标与动态分辨率变体,并给出可直接运行的推理与对比方法。
Hugging Face 发布 SmolVLM2 多模态模型家族,包含 2.2B、500M 和 256M 三个尺寸,用于视频理解任务。2.2B 模型在 Video-MME 基准上超过现有 2B 级别模型;500M 版本支持在 iPhone 本地运行;所有模型均可通过 Transformers 和 MLX 框架进行推理和微调。
推荐理由:SmolVLM2 提供 2.2B、500M 和 256M 三种尺寸视频模型并支持端侧运行,读者可按设备内存直接评估部署门槛。
Google 发布 PaliGemma 2 mix,这是一组在多种视觉语言任务上微调的指令型视觉语言模型,覆盖 3B、10B 和 28B 规模。文章展示了其处理开放式任务提示和检测定位任务的方式,并提供了通过 Transformers 进行推理的代码和在线演示。
推荐理由:文章解释了 mix 变体如何作为预训练模型的下游能力参考,并给出可运行的推理示例。
OpenAI 正式发布 o1 模型,重点提升复杂推理能力。同时推出了 Realtime API 改进和新微调方法,旨在增强开发者的工具可用性。
推荐理由:OpenAI 官方宣布推出 o1 模型及实时 API 改进,同时引入新的微调方法,为开发者提供了处理复杂推理任务和更灵活定制的基础能力。
PaliGemma 2 是由 Google 推出的新一版视觉语言模型,文章作为官方发布介绍。
Mistral 发布新模型 Mistral Large 2,123B 参数、128k 上下文窗口,MMLU 预训练版本达到 84.0%。Mistral 称其在代码和推理上表现与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当,并优化了指令跟随、减少模型幻觉。
推荐理由:官方给出了 MMLU 84.0%、123B 参数、128k 上下文窗口和 la Plateforme 上的部署入口,可判断它与 GPT-4o、Claude 3 Opus 等模型在性价比上的位置。
Mistral AI 正式发布 Mistral NeMo 12B,该模型由 NVIDIA 协助构建,提供最高 128k tokens 的上下文窗口。模型采用 Apache 2.0 协议开源,在推理、世界知识和编程能力上达到同规模 SOTA 水平。
推荐理由:Mistral NeMo 12B 引入 128k 上下文和新 tokenizer Tekken,性能超越同类开源模型且支持 FP8 推理,适合多语言业务部署。
Hugging Face 和 BigCode 团队发布 StarCoder2-15B-Instruct-v0.1,这是一个完全基于自生成数据(self-aligned)训练的代码语言模型,其 HumanEval 得分达 72.6。该模型训练过程完全透明,不依赖 GPT-4 等专有模型的蒸馏数据,并已在 LiveCodeBench 上展现出优于使用 GPT-4 蒸馏数据微调模型的代码生成能力。
推荐理由:该模型完全通过自生成数据实现指令微调,证明不依赖外部教师模型也能获得强代码能力,并开源了全流程。
Meta 发布开源 Llama 3,提供 8B 和 70B 参数的 base 及 instruct-tuned 版本,并配套发布安全微调模型 Llama Guard 2。
推荐理由:提供了 Llama 3 的完整评测数据与 Hugging Face 生态集成指南,方便开发者快速部署和微调该模型。
Hugging Face 发布 Idefics2,一个 8B 参数量的通用多模态视觉语言模型,支持输入文本与图像序列并生成文本响应,Apache 2.0 开源。
推荐理由:Idefics2 采用 Apache 2.0 协议开源 8B 多模态模型,并提供配套微调数据 The Cauldron,为多模态社区提供了易用的基础与工具。
Google 发布了 CodeGemma 模型,包含 2B、7B 和 7B Instruct 三种版本,专为代码生成、补全和推理设计。CodeGemma 7B 在 Python、JavaScript 和 C++ 的 HumanEval 评测中表现优于其他 7B 模型,但在中文代码方面尚未测试。
推荐理由:三个模型直接开源可下载,附 transformers 代码和量化部署方案,方便读者在本地复现。
BigCode 发布 StarCoder2 系列开源编码大模型,包含 3B、7B、15B 三个规格,全部基于新的 The Stack v2 代码数据集训练并同步开放模型、数据集与训练代码。
推荐理由:原文给出了三代模型规格与数据集规模,读者可以据此判断它与现有开源编码模型之间的定位差异。
Google 发布名为 Gemma 的 4 个开源 LLM 模型,其中 7B 参数版本采用 6T token 预训练,8K context 下得分 63.75。Hugging Face 提供 transformers 4.38 集成支持,并说明使用 QLoRA 在单张 A10G GPU 上微调 gemma-7b 需约 9 小时。
推荐理由:Hugging Face 给出了 Gemma 与同级模型的基准对比,以及消费级 GPU 微调实践入口。
Mistral 发布 Mixtral 8x7b 大语言模型,提供 Apache 2.0 许可。该模型采用 Mixture of Experts 架构,在 MT-Bench 等测试中表现优于 Llama 2 70B,性能接近 GPT-3.5,支持 32k tokens 上下文窗口。
推荐理由:结合基准数据与工程化落地方案,呈现 Mixtral 8x7b 在开放权重模型中的能力层级与部署路径。
OpenAI 在 DevDay 发布 GPT-4 Turbo、128K 上下文版本、Assistants API、GPT-4 Turbo with Vision、DALL·E 3 API 及更低价模型。