Kimina-Prover-72B 利用测试时强化学习搜索在 Lean 形式化推理中刷新 miniF2F 纪录
月之暗面团队发布基于 Qwen2.5-72B 和 Kimi k1.5 RL 管线训练的定理证明模型 Kimina-Prover-72B,开源了 8B 和 1.7B 蒸馏版本。该模型引入测试时强化学习搜索与错误修复机制,在 miniF2F 基准测试中达到 92.2% 的通过率,刷新 SOTA 记录。
月之暗面团队发布基于 Qwen2.5-72B 和 Kimi k1.5 RL 管线训练的定理证明模型 Kimina-Prover-72B,开源了 8B 和 1.7B 蒸馏版本。该模型引入测试时强化学习搜索与错误修复机制,在 miniF2F 基准测试中达到 92.2% 的通过率,刷新 SOTA 记录。
summary_zh: Numina & Kimi Team 发布基于 Qwen2.5-72B 的定理证明模型 Kimina-Prover-72B,在 miniF2F 基准测试中达到 92.2% 的 SOTA 通过率。
Hugging Face 发布 3B 参数规模的 SmolLM3 模型,包括 Base 和 Instruct 两种变体,完全开源模型权重、架构细节和三阶段预训练配方。
推荐理由:Hugging Face 发布并完全开源 SmolLM3 模型及完整训练配方,为构建同类 3B 模型提供了可复现的工程蓝图。
Gemma 3n 正式发布,支持本地运行多模态输入。该模型分为 E2B 和 E4B 两个版本,实际参数为 5B 和 8B,但显存占用仅相当于 2B 和 4B 模型,分别只需 2GB 和 3GB 显存。
推荐理由:Gemma 3n 以 2B/4B 显存实现 5B/8B 性能,支持文本、图像、音频和视频多模态输入,并开放主流开源框架支持。
H Company 在 Hugging Face 上发布开源行动视觉语言模型 Holo1 家族和 WebClick 多模态定位基准。
推荐理由:开源Holo1行动VLM家族与Surfer-H代理给出可对比的成本和精度基准,读者可评估网页自动化的落地门槛。
NVIDIA 在 GTC 2025 大会上发布了三项开源成果:Cosmos Transfer 世界基础模型、15TB 物理 AI 数据集以及通用类人推理模型 Isaac GR00T N1。
推荐理由:NVIDIA 在 GTC 2025 开源了 Cosmos Transfer 与 Isaac GR00T N1 模型及数据集,为开发者提供了训练具身智能体的完整工具链。
Google 发布 Gemma 3 开源权重 LLM,包括 1B、4B、12B、27B 参数版本,上下文窗口从 Gemma 2 的 8k 提升至最高 128k tokens。
推荐理由:Gemma 3 支持 128k 上下文和 140 余种语言,并能在 Hugging Face 生态当日通过 pipeline 或 llama.cpp 完成推理部署。
Cohere 开放 Aya Vision 8B 和 32B 权重,支持 23 种语言的图像理解、视觉问答与图文翻译。模型基于 SigLIP2-patch14-384 视觉编码器和 Aya Expanse 语言底座,通过 4 倍 Pixel Shuffle 下采样降低多模态输入开销。
推荐理由:模型在开放权重下支持 23 种语言视觉任务,并配合评测基准发布,可直接复用于多语言视觉落地。
Google 发布 SigLIP 2 多语言视觉语言编码器,作者团队在 SigLIP 的 sigmoid loss 之上叠加解码器、全局-局部自蒸馏和掩码预测等辅助目标,以提升语义理解、定位和密集特征能力。
推荐理由:作者拆解了 SigLIP 2 相对 SigLIP 新增的多项训练目标与动态分辨率变体,并给出可直接运行的推理与对比方法。
Hugging Face 发布 SmolVLM2 多模态模型家族,包含 2.2B、500M 和 256M 三个尺寸,用于视频理解任务。2.2B 模型在 Video-MME 基准上超过现有 2B 级别模型;500M 版本支持在 iPhone 本地运行;所有模型均可通过 Transformers 和 MLX 框架进行推理和微调。
推荐理由:SmolVLM2 提供 2.2B、500M 和 256M 三种尺寸视频模型并支持端侧运行,读者可按设备内存直接评估部署门槛。
Google 发布 PaliGemma 2 mix,这是一组在多种视觉语言任务上微调的指令型视觉语言模型,覆盖 3B、10B 和 28B 规模。文章展示了其处理开放式任务提示和检测定位任务的方式,并提供了通过 Transformers 进行推理的代码和在线演示。
推荐理由:文章解释了 mix 变体如何作为预训练模型的下游能力参考,并给出可运行的推理示例。
OpenAI 正式发布 o1 模型,重点提升复杂推理能力。同时推出了 Realtime API 改进和新微调方法,旨在增强开发者的工具可用性。
推荐理由:OpenAI 官方宣布推出 o1 模型及实时 API 改进,同时引入新的微调方法,为开发者提供了处理复杂推理任务和更灵活定制的基础能力。
PaliGemma 2 是由 Google 推出的新一版视觉语言模型,文章作为官方发布介绍。
Mistral 官方发布 Mistral Large 2,该模型拥有 123B 参数与 128k 上下文窗口,以单节点高吞吐量推理为设计目标,并在 MMLU 等基准测试中展现了优于前代且接近 GPT-4o 与 Claude 3 Opus 的性能。
推荐理由:Mistral Large 2 在 1230 亿参数量下提供 128k 上下文与显著的成本效率优势,支持在单节点部署,适合关注长上下文推理与多语言场景的团队评估。
Mistral AI 正式发布 Mistral NeMo 12B,该模型由 NVIDIA 协助构建,提供最高 128k tokens 的上下文窗口。模型采用 Apache 2.0 协议开源,在推理、世界知识和编程能力上达到同规模 SOTA 水平。
推荐理由:Mistral NeMo 12B 引入 128k 上下文和新 tokenizer Tekken,性能超越同类开源模型且支持 FP8 推理,适合多语言业务部署。
Mistral AI 在 Project Numina 项目中发布数学推理模型 Mathstral,基于 Mistral 7B 构建。该模型在 MATH 基准测试中得分为 56.6%,MMLU 得分为 63.47%。Mathstral 已在 HuggingFace 开放权重,支持通过 mistral-inference 使用。
OpenAI 在本文详解了 Voice Engine 文本转语音模型的技术架构及背后的安全研究。文章重点探索了模型的核心技术实现与安全性保障机制。
Hugging Face 和 BigCode 团队发布 StarCoder2-15B-Instruct-v0.1,这是一个完全基于自生成数据(self-aligned)训练的代码语言模型,其 HumanEval 得分达 72.6。该模型训练过程完全透明,不依赖 GPT-4 等专有模型的蒸馏数据,并已在 LiveCodeBench 上展现出优于使用 GPT-4 蒸馏数据微调模型的代码生成能力。
推荐理由:该模型完全通过自生成数据实现指令微调,证明不依赖外部教师模型也能获得强代码能力,并开源了全流程。
Meta 发布开源 Llama 3,提供 8B 和 70B 参数的 base 及 instruct-tuned 版本,并配套发布安全微调模型 Llama Guard 2。
推荐理由:提供了 Llama 3 的完整评测数据与 Hugging Face 生态集成指南,方便开发者快速部署和微调该模型。
Hugging Face 发布 Idefics2,一个 8B 参数量的通用多模态视觉语言模型,支持输入文本与图像序列并生成文本响应,Apache 2.0 开源。
推荐理由:Idefics2 采用 Apache 2.0 协议开源 8B 多模态模型,并提供配套微调数据 The Cauldron,为多模态社区提供了易用的基础与工具。
Google 发布了 CodeGemma 模型,包含 2B、7B 和 7B Instruct 三种版本,专为代码生成、补全和推理设计。CodeGemma 7B 在 Python、JavaScript 和 C++ 的 HumanEval 评测中表现优于其他 7B 模型,但在中文代码方面尚未测试。
推荐理由:三个模型直接开源可下载,附 transformers 代码和量化部署方案,方便读者在本地复现。
BigCode 发布 StarCoder2 系列开源编码大模型,包含 3B、7B、15B 三个规格,全部基于新的 The Stack v2 代码数据集训练并同步开放模型、数据集与训练代码。
推荐理由:原文给出了三代模型规格与数据集规模,读者可以据此判断它与现有开源编码模型之间的定位差异。
Mistral AI 发布最新旗舰语言模型 Mistral Large,其在 MMLU 等基准测试中位列全球 API 可用模型第二(仅次于 GPT-4)。该模型原生支持英语、法语、西班牙语、德语和意大利语,拥有 32K 上下文窗口,并具备函数调用功能。
推荐理由:Mistral Large 在 MMLU 等基准上表现强劲,且与 Azure 的合作为多语言推理场景提供了企业级 API 访问途径。
Google 发布名为 Gemma 的 4 个开源 LLM 模型,其中 7B 参数版本采用 6T token 预训练,8K context 下得分 63.75。Hugging Face 提供 transformers 4.38 集成支持,并说明使用 QLoRA 在单张 A10G GPU 上微调 gemma-7b 需约 9 小时。
推荐理由:Hugging Face 给出了 Gemma 与同级模型的基准对比,以及消费级 GPU 微调实践入口。
Hugging Face 推出基于 Masked Image Model (MIM) 的非扩散文生图模型 aMUSEd。该模型仅含约 800M 参数,推理速度较快,支持通过 LoRA 在 7GB 显存下微调。aMUSEd 采用开放许可,可作为 diffusers 中首个非扩散系统,用于零样图像修复及风格迁移探索。
Mistral 发布 Mixtral 8x7b 大语言模型,提供 Apache 2.0 许可。该模型采用 Mixture of Experts 架构,在 MT-Bench 等测试中表现优于 Llama 2 70B,性能接近 GPT-3.5,支持 32k tokens 上下文窗口。
推荐理由:结合基准数据与工程化落地方案,呈现 Mixtral 8x7b 在开放权重模型中的能力层级与部署路径。
OpenAI 在 DevDay 发布 GPT-4 Turbo、128K 上下文版本、Assistants API、GPT-4 Turbo with Vision、DALL·E 3 API 及更低价模型。
Mistral AI 发布 7B 参数模型 Mistral 7B,其在标准英语和代码基准测试中超越所有目前可用的 13B 及以下开源模型。该模型基于 Apache 2.0 协议发布,运行速度更快且成本更低,适用于摘要、问答等任务。公司计划在未来几个月内逐步发布缩小黑盒与开源模型性能差距的新模型。
推荐理由:原文展示了 7B 模型超越 13B 开源模型的性能对比,并明确采用 Apache 2.0 协议,为开发者提供了低成本且可控的替代方案。
Mistral AI 发布 Mistral 7B,这是一个 7.3B 参数的大语言模型,采用 Apache 2.0 许可协议,可在本地、HuggingFace、vLLM 等环境中部署使用。
推荐理由:官方给出 7.3B 模型相对 Llama 2 13B 的推理、代码表现和部署路径,可作为 7B 级开源模型能力对比的参照。
Würstchen 是一款采用高度压缩隐空间的扩散图像生成模型,通过 42 倍空间压缩技术显著降低计算成本并提升生成速度。模型 v1 版本的训练成本仅 9,000 GPU 小时,较 Stable Diffusion 1.4 减少 16 倍,现已通过 Diffusers 库开放使用并支持 1024 至 1536 分辨率。
推荐理由:模型通过 42 倍空间压缩实现生成加速,其 9,000 GPU 小时训练成本大幅低于同类技术。
Hugging Face 正式发布 TII 开发的开源大语言模型 Falcon 180B,该模型拥有 1800 亿参数,使用了 3.5 万亿 tokens 进行预训练。
推荐理由:Falcon 180B 是当时最大的开源语言模型,在 Hugging Face 生态中提供了完整的部署和微调指南。
OpenAI 宣布开发者可使用自有数据对 GPT-3.5 Turbo 进行微调,以适配特定用例。同时,相关 API 进行了更新,支持这一自定义能力。
推荐理由:原文说明开发者可用自有数据定制 GPT-3.5 Turbo,读者可据此评估其微调能力。
Hugging Face 发布开源多模态模型 IDEFICS,该模型是对 DeepMind Flamingo 的开源复现,可处理图像和文本序列输入并生成文本输出。
推荐理由:该模型基于公开数据复现了专有视觉语言模型,并展示了红队测试与透明度实践。
Segmind 开源了 SD-Small 和 SD-Tiny 模型的知识蒸馏代码及预训练权重。这两个压缩模型分别比基础模型减少 35% 和 55% 的参数,推理速度最高提升 100%,且输出图像保真度可比。目前模型处于早期阶段,更适合用于特定概念或风格的微调及 LoRA 训练。
Hugging Face 推出代码大语言模型 StarCoder,基座 StarCoderBase 在 The Stack 1.2 数据集上用 80+ 种语言、1 万亿 token 训练出 15B 参数模型,StarCoder 进一步在 35B Python token 上微调得到。
推荐理由:官方展示了模型在 HumanEval 等基准上超越同体量开源及闭源模型的成绩,并给出了多语言与辅助对话的应用潜力。
OpenAI发布GPT-4大模型,该模型为大型多模态模型,接受图像和文本输入并输出文本。尽管在许多现实场景中能力不及人类,但GPT-4在各类专业与学术基准测试中展现出人类水平的表现。
推荐理由:原文给出GPT-4的多模态定位和基准表现描述,读者可据此判断该模型在专业场景中的能力边界。
GPT-4 能够生成、编辑并迭代创作及技术写作任务,例如谱曲、编写剧本或学习用户写作风格。
Kakao Brain 联合 Hugging Face 发布 7 亿图文对开源数据集 COYO 及基于该数据训练的 ViT 和 ALIGN 模型。这是首个公开免费开源的 ALIGN 模型,其 ViT-L/16 和 ALIGN-B7-Base 在 ImageNet 及检索任务上性能与 Google 原版持平。模型代码、权重及训练数据 COYO 均已开放,支持复现视觉语言建模研究。
OpenAI 发布 Point-E 模型,该系统能够从复杂提示词生成 3D 点云。
推荐理由:官方发布3D点云生成模型,展示了从复杂提示词生成三维空间结构的技术能力。
OpenAI 宣布推出一款新的嵌入模型。该模型在能力上显著增强,更具成本效益,且使用更简单。