智谱全量开放 GLM-5.2,下周正式开源
智谱全量开放 GLM-5.2,支持 1M 上下文并宣称是迄今能力最强的开源模型。该模型面向 GLM Coding Plan 全量用户开放,API 下周上线,模型下周遵循 MIT 协议正式开源。
推荐理由:GLM-5.2 全量开放并计划开源,读者可据此评估其长上下文能力在团队开发中的可用性。
智谱全量开放 GLM-5.2,支持 1M 上下文并宣称是迄今能力最强的开源模型。该模型面向 GLM Coding Plan 全量用户开放,API 下周上线,模型下周遵循 MIT 协议正式开源。
推荐理由:GLM-5.2 全量开放并计划开源,读者可据此评估其长上下文能力在团队开发中的可用性。
Kimi K2.7 Code 编程模型已上线 Kimi API 开放平台,相比 K2.6 显著提升长上下文编程性能,平均 token 消耗减少 30%。Kimi Code Bench v2 性能提升 21.8%,Program-Bench 提升 11%。1M token 输入输出价格与 K2.6 一致,后续将发布输出速度 5-6 倍的高速版本。
推荐理由:原文展示了长上下文编程能力的基准提升及30%的Token消耗优化,并明确高速版模型的定价与速度优势。
小米发布并开源终端 AI 编程助手 MiMo Code V0.1.0,内置限时免费的多模态模型 MiMo-V2.5,并采用 MIT 协议开放。
推荐理由:原文给出了 MiMo Code 的专属 Harness、Compose 模式以及在相同模型下对比 Claude Code 的基准分数,可据此理解其协同优化思路。
DeepSeek-V4 预览版模型正式上线并同步开源,包含 DeepSeek-V4-Pro 和 DeepSeek-V4-Flash 两个版本。即日起登录官网或官方 App 即可使用 1M 超长上下文,API 服务同步更新,需将 model_name 修改为 deepseek-v4-pro 或 deepseek-v4-flash。
推荐理由:预览版模型同步开源,给出了 API 调用入口和 1M 上下文标配说明,读者可以据此判断它在 Agent 场景中的具体部署方式。
Mistral 发布 Mistral Small 4,将 Magistral、Pixtral、Devstral 与 Mistral Small 的指令、推理与多模态能力合并为单一模型,并以 Apache 2.0 开源。
推荐理由:原文明确给出架构、吞吐延迟优化和许可细节,读者可据此判断统一模型如何降低多模型切换成本。
Mistral AI 宣布作为创始成员加入 NVIDIA Nemotron 联盟,双方将共同开发前沿开源 AI 模型。合作结合 Mistral 的模型架构、全栈平台与专有训练方法,以及 NVIDIA 的算力、开发工具和合成数据生成管线。联盟首个项目是在 NVIDIA DGX Cloud 上训练一个基础模型,作为未来 NVIDIA Nemotron 4 系列的底座,相关模型将被开源。
推荐理由:Mistral 作为 NVIDIA Nemotron 联盟创始成员,将把自有训练方法与 NVIDIA 算力、工具结合,用于开发开源前沿模型。
Berkeley AI Research 介绍了 SPEX(Spectral Explainer)和 ProxySPEX 算法,旨在通过消融(ablation)在大规模下识别驱动 LLM 行为的关键交互。SPEX 利用稀疏性和低度性质(low-degreeness)将搜索转化为稀疏恢复问题;ProxySPEX 额外利用层级结构(hierarchy),在保持性能的同时将所需消融次数减少约 10 倍。
DeepSeek 正式发布 V3.2-Exp 实验性模型,在保持 V3.1-Terminus 性能基本持平的前提下,通过引入 DeepSeek Sparse Attention 提升了长文本的训练和推理效率。官方 App 与 API 已同步更新,开发者调用 API 的成本降低 50% 以上,模型权重与 TileLang、CUDA 算子已在 HuggingFace、魔搭及 GitHub 开源。
推荐理由:DeepSeek 发布 V3.2-Exp 并引入稀疏注意力机制,同步将 API 调用成本降低 50% 以上。
WRITER 团队发布 Palmyra-mini 系列三款开源模型,参数规模在 1.5B 到 1.7B 之间。palmyra-mini-thinking-a 模型在 GSM8K 基准测试中得分 82.87%。该系列模型采用 CoT 方法训练,支持 GGUF 和 MLX 量化版本。
Mistral AI 宣布完成 17 亿欧元 C 轮融资,投后估值 117 亿欧元。 ASML 领投,NVIDIA、Andreessen Horowitz 等现有投资方参与,资金将用于 AI 科研及高性能算力基础设施建设。
SandboxAQ 开源的 SAIR 数据集在 Hugging Face 上线,提供超过 500 万个 AI 生成的蛋白质-配体 3D 结构及 IC50 值。该数据集约 97% 通过 PoseBusters 验证,利用 NVIDIA H100 集群在 3 周内完成生成,支持商业和非商业 R&D 管线加速。
NVIDIA 发布 9B 参数的 Nemotron Nano 2,采用 Transformer–Mamba 混合架构,端侧部署最高 6 倍 token 生成速度,支持配置 thinking budget,推理成本最多降低 60%。
Hugging Face 开源 Kimina-Prover-RL 训练流水线,基于 DeepSeek-R1 的推理-生成范式与 Verl 框架,并同步发布 1.7B 和 0.6B 两款模型。
OpenAI 发布 GPT OSS 系列开源模型,包括 gpt-oss-120b(117B 参数)和 gpt-oss-20b(21B 参数)。两款均为 MoE 架构,采用 MXFP4 4-bit 量化;120B 模型可运行在单张 80GB H100 上,20B 模型仅需 16GB 显存。
推荐理由:两个模型都采用 MoE 加 4-bit 量化,小模型 21B 可跑在 16GB 硬件上,Apache 2.0 许可让社区能直接复用与微调。
Hugging Face 开源视频基准 TimeScope,通过向 1 分钟至 8 小时的长视频中插入 5-10 秒的短片段,测试模型在定位检索、信息综合和细粒度时间感知三项任务上的表现。基准结果显示,即使是如 Gemini 2.5-Pro 等声称支持长视频的模型,在处理真实长视频任务时仍面临显著挑战。
Hugging Face 发布 Ettin 系列开源模型,基于 ModernBERT 训练配方同时训练 17M-1B 参数的编码器(MLM)和解码器(CLM),使用完全相同的 2T token 数据和架构,实现 SoTA 对比。
Gemma 3n 正式发布,支持本地运行多模态输入。该模型分为 E2B 和 E4B 两个版本,实际参数为 5B 和 8B,但显存占用仅相当于 2B 和 4B 模型,分别只需 2GB 和 3GB 显存。
推荐理由:Gemma 3n 以 2B/4B 显存实现 5B/8B 性能,支持文本、图像、音频和视频多模态输入,并开放主流开源框架支持。
Yaak 与 Hugging Face 联合发布 L2D,这是全球规模最大的开源自动驾驶多模态数据集,包含超过 90TB、5000 小时的德国 30 城驾驶数据,涵盖 6 路环视相机、完整车辆状态、环境条件及自然语言指令。数据将分阶段更新至 R4,并支持接入 LeRobot 流水线进行端到端模型训练,2025 年夏季还将开放带安全员的闭环实测。
推荐理由:L2D 是当前最大的开源自动驾驶多模态数据集,包含 90TB 以上数据,可直接接入 LeRobot 训练端到端模型。
Cohere 开放 Aya Vision 8B 和 32B 权重,支持 23 种语言的图像理解、视觉问答与图文翻译。模型基于 SigLIP2-patch14-384 视觉编码器和 Aya Expanse 语言底座,通过 4 倍 Pixel Shuffle 下采样降低多模态输入开销。
推荐理由:模型在开放权重下支持 23 种语言视觉任务,并配合评测基准发布,可直接复用于多语言视觉落地。
Hugging Face 团队发布了适用于小规模场景的开源视频数据集脚本及三阶段处理流水线,旨在降低构建视频生成模型微调数据集的门槛。该工具链集成 Florence-2 与 Qwen2.5 模型,通过运动、美学及水印等多维度过滤与自动字幕生成,显著提升了数据质量与可控性。
Hugging Face 开源基于 Rust 的 xet-core 和 hf_xet,将 Hugging Face Hub 模型与数据集仓库的上传下载速度提升 2 至 3 倍。方案通过引入 Block 和 Shard 聚合机制替代纯 Chunk 存储,减少内容寻址存储条目达 1000 倍,并优化了 3.5PB 量化 GGUF 模型文件的去重效率。
Mistral AI 正式发布 Mistral NeMo 12B,该模型由 NVIDIA 协助构建,提供最高 128k tokens 的上下文窗口。模型采用 Apache 2.0 协议开源,在推理、世界知识和编程能力上达到同规模 SOTA 水平。
推荐理由:Mistral NeMo 12B 引入 128k 上下文和新 tokenizer Tekken,性能超越同类开源模型且支持 FP8 推理,适合多语言业务部署。
Hugging Face 与 LangChain 联合推出 Python 包 langchain-huggingface,旨在将 Hugging Face 生态最新功能高效整合至 LangChain 并持续更新。
Hugging Face 发布开放链式思维排行榜(Open CoT Leaderboard),专门评估大语言模型在推理任务中生成有效链式思维(CoT)轨迹的能力。
Hugging Face 发布开源多用途 Transformer 智能体 Jack of All Trades (JAT),支持玩电子游戏、控制机器人及执行导航任务。
Meta 发布开源 Llama 3,提供 8B 和 70B 参数的 base 及 instruct-tuned 版本,并配套发布安全微调模型 Llama Guard 2。
推荐理由:提供了 Llama 3 的完整评测数据与 Hugging Face 生态集成指南,方便开发者快速部署和微调该模型。
Zama 团队通过 Hugging Face Endpoints 和自定义推理处理器部署了预编译的 Concrete ML 模型,支持在加密数据上直接计算而不暴露明文。用户可使用预编译模型如 concrete-ml-encrypted-decisiontree 进行隐私保护推理,仅需 CPU 即可运行,当前强制要求 Python 3.10 环境。
Hugging Face 发布 Idefics2,一个 8B 参数量的通用多模态视觉语言模型,支持输入文本与图像序列并生成文本响应,Apache 2.0 开源。
推荐理由:Idefics2 采用 Apache 2.0 协议开源 8B 多模态模型,并提供配套微调数据 The Cauldron,为多模态社区提供了易用的基础与工具。
Google 发布了 CodeGemma 模型,包含 2B、7B 和 7B Instruct 三种版本,专为代码生成、补全和推理设计。CodeGemma 7B 在 Python、JavaScript 和 C++ 的 HumanEval 评测中表现优于其他 7B 模型,但在中文代码方面尚未测试。
推荐理由:三个模型直接开源可下载,附 transformers 代码和量化部署方案,方便读者在本地复现。
Pollen Robotics 团队发布开源 pollen-vision 库,该工具包整合了 OWL-VIT、Mobile SAM 和 RAM 等零样本视觉模型,旨在让机器人无需训练即可抓取未知物体。当前版本聚焦于 3D 物体检测,能通过相机内参计算物体在 3D 空间中的 (x, y, z) 坐标,但尚未支持 6D 姿态估计。
GaLore 利用梯度低秩结构实现显存高效的大语言模型全参数训练,将优化器状态显存降低 82.5% 以上。该方法支持结合 8-bit 优化器,使 7B 参数模型能在 NVIDIA RTX 4090 等消费级 GPU 上完成训练。
Hugging Face 推出 PyTorch 量化后端 Quanto,作为 Optimum 的组件支持 int8、int4、int2 及 float8 权重与激活量化。
Hugging Face 开源了 WebSight-v0.2 数据集及微调模型 Sightseer,旨在利用视觉语言模型将网页截图转换为 HTML 代码。该数据集包含 200 万个合成示例,相比 v0.1 版本采用了真实图像和 Tailwind CSS,显著提升了数据质量。Sightseer 模型基于此微调,能够生成包含图像的功能性 HTML,致力于简化 UI 设计到代码的转化流程。
BigCode 发布 StarCoder2 系列开源编码大模型,包含 3B、7B、15B 三个规格,全部基于新的 The Stack v2 代码数据集训练并同步开放模型、数据集与训练代码。
推荐理由:原文给出了三代模型规格与数据集规模,读者可以据此判断它与现有开源编码模型之间的定位差异。
该教程展示了如何结合 Hugging Face Transformers 和 PEFT 库,利用 LoRA 对 Google DeepMind 的 Gemma 模型进行参数高效微调。 通过 4-bit 量化(QLoRA)降低显存占用,并支持在 GPU 和 Cloud TPU 上运行。
Google 发布名为 Gemma 的 4 个开源 LLM 模型,其中 7B 参数版本采用 6T token 预训练,8K context 下得分 63.75。Hugging Face 提供 transformers 4.38 集成支持,并说明使用 QLoRA 在单张 A10G GPU 上微调 gemma-7b 需约 9 小时。
推荐理由:Hugging Face 给出了 Gemma 与同级模型的基准对比,以及消费级 GPU 微调实践入口。
PEFT 库发布了针对 LoRA 适配器的新合并方法,支持在推理阶段在线结合多个微调权重。文章介绍了 concatenation、linear、SVD、TIES 和 DARE 等多种算法,提供代码示例与效果对比,并展示了将文本生成和文生图场景下不同风格的 LoRA 权重合并的应用,旨在帮助开发者在有限显存条件下提升模型能力融合体验。
Segmind 推出 SegMoE 框架,支持从头创建扩散模型专家混合(MoE)架构,并集成于 Hugging Face 生态系统。该框架提供 Apache 2.0 许可的开源模型及代码,允许用户通过配置多个专家模型来构建自定义 MoE 扩散模型,显著提升了提示词理解能力。
IBM Research 与 Hugging Face 合作在 Transformers 库开源了轻量级时间序列模型 PatchTSMixer。该模型基于 MLP-Mixer 架构,支持预测、分类和回归等任务,在预测任务中比 SOTA MLP 和 Transformer 模型提升 8-60%,内存和运行时减少 2-3 倍。
Hugging Face 团队实证评估了 DPO、IPO 和 KTO 三种无需强化学习的 LLM 对齐方法。实验在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上进行,发现 IPO 与 DPO 效果持平且优于 KTO。相关代码已开源,关键超参数 β 对结果影响显著。