跳到正文
7月24日周三
  1. Mistral AI85

    Mistral 发布 Large 2 模型,123B 参数支持 128k 上下文及增强推理能力

    Mistral 官方发布 Mistral Large 2,该模型拥有 123B 参数与 128k 上下文窗口,以单节点高吞吐量推理为设计目标,并在 MMLU 等基准测试中展现了优于前代且接近 GPT-4o 与 Claude 3 Opus 的性能。

    推荐理由:Mistral Large 2 在 1230 亿参数量下提供 128k 上下文与显著的成本效率优势,支持在单节点部署,适合关注长上下文推理与多语言场景的团队评估。

7月18日周四
  1. Mistral AI63

    Mistral 发布 12B 参数多语言模型 Mistral NeMo,支持 128k 上下文窗口

    Mistral AI 正式发布 Mistral NeMo 12B,该模型由 NVIDIA 协助构建,提供最高 128k tokens 的上下文窗口。模型采用 Apache 2.0 协议开源,在推理、世界知识和编程能力上达到同规模 SOTA 水平。

    推荐理由:Mistral NeMo 12B 引入 128k 上下文和新 tokenizer Tekken,性能超越同类开源模型且支持 FP8 推理,适合多语言业务部署。

7月16日周二
  1. Mistral AI44

    Mistral 开源数学推理模型 Mathstral

    Mistral AI 在 Project Numina 项目中发布数学推理模型 Mathstral,基于 Mistral 7B 构建。该模型在 MATH 基准测试中得分为 56.6%,MMLU 得分为 63.47%。Mathstral 已在 HuggingFace 开放权重,支持通过 mistral-inference 使用。

6月8日周六
4月29日周一
  1. Hugging Face Blog66

    StarCoder2-15B-Instruct 发布:开源完全透明的自对齐代码模型

    Hugging Face 和 BigCode 团队发布 StarCoder2-15B-Instruct-v0.1,这是一个完全基于自生成数据(self-aligned)训练的代码语言模型,其 HumanEval 得分达 72.6。该模型训练过程完全透明,不依赖 GPT-4 等专有模型的蒸馏数据,并已在 LiveCodeBench 上展现出优于使用 GPT-4 蒸馏数据微调模型的代码生成能力。

    推荐理由:该模型完全通过自生成数据实现指令微调,证明不依赖外部教师模型也能获得强代码能力,并开源了全流程。

4月18日周四
4月15日周一
4月9日周二
  1. Hugging Face Blog86

    CodeGemma 发布:面向代码的 LLM

    Google 发布了 CodeGemma 模型,包含 2B、7B 和 7B Instruct 三种版本,专为代码生成、补全和推理设计。CodeGemma 7B 在 Python、JavaScript 和 C++ 的 HumanEval 评测中表现优于其他 7B 模型,但在中文代码方面尚未测试。

    推荐理由:三个模型直接开源可下载,附 transformers 代码和量化部署方案,方便读者在本地复现。

2月28日周三
2月26日周一
  1. Mistral AI81

    Mistral Large 发布:多语言推理旗舰模型上线 Azure

    Mistral AI 发布最新旗舰语言模型 Mistral Large,其在 MMLU 等基准测试中位列全球 API 可用模型第二(仅次于 GPT-4)。该模型原生支持英语、法语、西班牙语、德语和意大利语,拥有 32K 上下文窗口,并具备函数调用功能。

    推荐理由:Mistral Large 在 MMLU 等基准上表现强劲,且与 Azure 的合作为多语言推理场景提供了企业级 API 访问途径。

2月21日周三
  1. Hugging Face Blog94

    Google 发布 Gemma 开源大语言模型

    Google 发布名为 Gemma 的 4 个开源 LLM 模型,其中 7B 参数版本采用 6T token 预训练,8K context 下得分 63.75。Hugging Face 提供 transformers 4.38 集成支持,并说明使用 QLoRA 在单张 A10G GPU 上微调 gemma-7b 需约 9 小时。

    推荐理由:Hugging Face 给出了 Gemma 与同级模型的基准对比,以及消费级 GPU 微调实践入口。

1月4日周四
12月11日周一
  1. Hugging Face Blog89

    Mixtral 8x7b 发布:开源 MoE 模型性能比肩 GPT-3.5

    Mistral 发布 Mixtral 8x7b 大语言模型,提供 Apache 2.0 许可。该模型采用 Mixture of Experts 架构,在 MT-Bench 等测试中表现优于 Llama 2 70B,性能接近 GPT-3.5,支持 32k tokens 上下文窗口。

    推荐理由:结合基准数据与工程化落地方案,呈现 Mixtral 8x7b 在开放权重模型中的能力层级与部署路径。

11月6日周一
9月27日周三
  1. Mistral AI88

    Mistral AI 发布 Mistral 7B 开源模型

    Mistral AI 发布 7B 参数模型 Mistral 7B,其在标准英语和代码基准测试中超越所有目前可用的 13B 及以下开源模型。该模型基于 Apache 2.0 协议发布,运行速度更快且成本更低,适用于摘要、问答等任务。公司计划在未来几个月内逐步发布缩小黑盒与开源模型性能差距的新模型。

    推荐理由:原文展示了 7B 模型超越 13B 开源模型的性能对比,并明确采用 Apache 2.0 协议,为开发者提供了低成本且可控的替代方案。

  2. Mistral AI93

    Mistral 7B 发布

    Mistral AI 发布 Mistral 7B,这是一个 7.3B 参数的大语言模型,采用 Apache 2.0 许可协议,可在本地、HuggingFace、vLLM 等环境中部署使用。

    推荐理由:官方给出 7.3B 模型相对 Llama 2 13B 的推理、代码表现和部署路径,可作为 7B 级开源模型能力对比的参照。

9月13日周三
  1. Hugging Face Blog63

    Würstchen 扩散模型发布:实现 42 倍空间压缩的高效图像生成

    Würstchen 是一款采用高度压缩隐空间的扩散图像生成模型,通过 42 倍空间压缩技术显著降低计算成本并提升生成速度。模型 v1 版本的训练成本仅 9,000 GPU 小时,较 Stable Diffusion 1.4 减少 16 倍,现已通过 Diffusers 库开放使用并支持 1024 至 1536 分辨率。

    推荐理由:模型通过 42 倍空间压缩实现生成加速,其 9,000 GPU 小时训练成本大幅低于同类技术。

9月6日周三
8月22日周二
8月1日周二
5月4日周四
  1. Hugging Face Blog82

    Hugging Face 发布代码 LLM StarCoder

    Hugging Face 推出代码大语言模型 StarCoder,基座 StarCoderBase 在 The Stack 1.2 数据集上用 80+ 种语言、1 万亿 token 训练出 15B 参数模型,StarCoder 进一步在 35B Python token 上微调得到。

    推荐理由:官方展示了模型在 HumanEval 等基准上超越同体量开源及闭源模型的成绩,并给出了多语言与辅助对话的应用潜力。

3月14日周二
  1. OpenAI95

    OpenAI发布GPT-4大模型

    OpenAI发布GPT-4大模型,该模型为大型多模态模型,接受图像和文本输入并输出文本。尽管在许多现实场景中能力不及人类,但GPT-4在各类专业与学术基准测试中展现出人类水平的表现。

    推荐理由:原文给出GPT-4的多模态定位和基准表现描述,读者可据此判断该模型在专业场景中的能力边界。

  2. OpenAI39

    GPT-4

    GPT-4 能够生成、编辑并迭代创作及技术写作任务,例如谱曲、编写剧本或学习用户写作风格。

3月6日周一
  1. Hugging Face Blog50

    Kakao Brain 与 Hugging Face 发布开源 COYO 数据集及 ViT、ALIGN 模型

    Kakao Brain 联合 Hugging Face 发布 7 亿图文对开源数据集 COYO 及基于该数据训练的 ViT 和 ALIGN 模型。这是首个公开免费开源的 ALIGN 模型,其 ViT-L/16 和 ALIGN-B7-Base 在 ImageNet 及检索任务上性能与 Google 原版持平。模型代码、权重及训练数据 COYO 均已开放,支持复现视觉语言建模研究。

12月16日周五
12月15日周四
11月30日周三
  1. OpenAI95

    OpenAI 发布 ChatGPT

    OpenAI 发布能进行对话式交互的模型 ChatGPT,支持回答追问、承认错误、反驳错误前提并拒绝不当请求。

    推荐理由:ChatGPT 官方首次介绍,明确了对话式交互和纠正错误、拒绝不当请求等能力边界。

10月5日周三
9月21日周三
7月12日周二
  1. Hugging Face Blog89

    Hugging Face 发布 BLOOM:世界最大开源多语言大模型

    Hugging Face 发布 176B 参数开源模型 BLOOM,支持 46 种自然语言和 13 种编程语言。该模型由 70 多个国家的 1000 余名研究者历时一年协作完成,并首次开放训练中间检查点与推理 API,支持学术界和独立开发者下载、运行及基于 Responsible AI 许可进行二次开发。

    推荐理由:BLOOM 作为 176B 参数开源模型,开放了 46 种自然语言和 13 种编程语言的能力验证与二次开发入口。

3月15日周二
2月2日周三
1月27日周四
  1. OpenAI95

    OpenAI 发布 InstructGPT 模型

    OpenAI 发布了 InstructGPT 模型,该模型比 GPT-3 更擅长遵循用户意图,同时具有更高的真实性且毒性更低。InstructGPT 通过人类在环的技术进行训练,目前已成为 OpenAI API 的默认语言模型。

    推荐理由:InstructGPT 将人类在环训练引入默认 API 模型,展示了提升指令遵循与降低毒性对齐的具体路径。

12月16日周四
10月25日周一
10月20日周三
  1. Hugging Face Blog37

    Hugging Face Blog 指出 Transformer 架构正成为机器学习通用架构

    Transformer 架构已扩展至 NLP 之外,正成为机器学习通用架构,在计算机视觉、语音等领域表现高效。Google Vision Transformer 和 CoAtNet 在 ImageNet 图像分类中创下新基准,且所需计算资源更少。行业正从从零训练模型转向使用现成模型进行微调,以更快交付业务价值。

7月15日周四
1月5日周二
  1. OpenAI76

    OpenAI 发布 CLIP:连接文本与图像的神经网络

    OpenAI 介绍了一种名为 CLIP 的神经网络,它通过自然语言监督高效学习视觉概念。CLIP 可用于任何视觉分类基准,只需提供要识别的视觉类别名称即可,具有类似 GPT-2 和 GPT-3 的零样本能力。

    推荐理由:展示了通过自然语言监督学习视觉概念的方法,确立了零样本图像分类的新范式。