跳到正文
3月19日周三
3月18日周二
3月12日周三
3月7日周五
3月4日周二
  1. Hugging Face Blog69

    Cohere 发布 Aya Vision 8B 与 32B 多语言视觉模型

    Cohere 开放 Aya Vision 8B 和 32B 权重,支持 23 种语言的图像理解、视觉问答与图文翻译。模型基于 SigLIP2-patch14-384 视觉编码器和 Aya Expanse 语言底座,通过 4 倍 Pixel Shuffle 下采样降低多模态输入开销。

    推荐理由:模型在开放权重下支持 23 种语言视觉任务,并配合评测基准发布,可直接复用于多语言视觉落地。

2月21日周五
  1. Hugging Face Blog75

    Google 发布 SigLIP 2 多语言视觉语言编码器

    Google 发布 SigLIP 2 多语言视觉语言编码器,作者团队在 SigLIP 的 sigmoid loss 之上叠加解码器、全局-局部自蒸馏和掩码预测等辅助目标,以提升语义理解、定位和密集特征能力。

    推荐理由:作者拆解了 SigLIP 2 相对 SigLIP 新增的多项训练目标与动态分辨率变体,并给出可直接运行的推理与对比方法。

2月19日周三
  1. Hugging Face Blog66

    Google 发布 PaliGemma 2 Mix 多任务指令视觉语言模型

    Google 发布 PaliGemma 2 mix,这是一组在多种视觉语言任务上微调的指令型视觉语言模型,覆盖 3B、10B 和 28B 规模。文章展示了其处理开放式任务提示和检测定位任务的方式,并提供了通过 Transformers 进行推理的代码和在线演示。

    推荐理由:文章解释了 mix 变体如何作为预训练模型的下游能力参考,并给出可运行的推理示例。

2月18日周二
2月14日周五
7月24日周三
  1. Mistral AI85

    Mistral 发布 Large 2 模型,123B 参数支持 128k 上下文及增强推理能力

    Mistral 官方发布 Mistral Large 2,该模型拥有 123B 参数与 128k 上下文窗口,以单节点高吞吐量推理为设计目标,并在 MMLU 等基准测试中展现了优于前代且接近 GPT-4o 与 Claude 3 Opus 的性能。

    推荐理由:Mistral Large 2 在 1230 亿参数量下提供 128k 上下文与显著的成本效率优势,支持在单节点部署,适合关注长上下文推理与多语言场景的团队评估。

6月5日周三
  1. Mistral AI29

    Mistral AI 微调黑客马拉松:新 API 测试与项目展示

    Mistral AI 举办为期一个月的虚拟微调黑客马拉松,时间为 2024 年 6 月 5 日至 30 日。参赛者需使用其全新的微调 API 提交原创项目,前 3 名获奖者各获 €2,500 Mistral API 积分,部分入选者还可申请 $100 免费额度。评审标准涵盖影响力、技术实现、创意和展示四个维度,各占 25%,团队人数上限为 4 人。

5月29日周三
  1. Mistral AI68

    Mistral AI 推出非生产许可证 MNPL 并将 Codestral 纳入该许可

    Mistral AI 推出 Mistral 非生产许可证(MNPL),允许开发者将 Mistral 技术用于非商业用途和科学研究,并要求基于其技术开展业务的企业建立公平且可持续的合作关系。Codestral 于发布当日以 MNPL 许可证提供,而 Mistral 表示将逐步整合产品线,继续以 Apache 2.0 许可发布模型和代码。

    推荐理由:Mistral 推出限制商业生产使用的 MNPL 许可证并应用于 Codestral,同时保留 Apache 2.0 开源线,清晰划定了开放模型的商业化边界。

5月21日周二
4月29日周一
  1. Hugging Face Blog66

    StarCoder2-15B-Instruct 发布:开源完全透明的自对齐代码模型

    Hugging Face 和 BigCode 团队发布 StarCoder2-15B-Instruct-v0.1,这是一个完全基于自生成数据(self-aligned)训练的代码语言模型,其 HumanEval 得分达 72.6。该模型训练过程完全透明,不依赖 GPT-4 等专有模型的蒸馏数据,并已在 LiveCodeBench 上展现出优于使用 GPT-4 蒸馏数据微调模型的代码生成能力。

    推荐理由:该模型完全通过自生成数据实现指令微调,证明不依赖外部教师模型也能获得强代码能力,并开源了全流程。

4月2日周二
  1. Hugging Face Blog65

    Hugging Face 上线 Cloudflare Workers AI 无服务器 GPU 推理功能

    Hugging Face 推出与 Cloudflare Workers AI 的新集成,开发者可通过按请求付费的方式,在全球边缘 GPU 上运行热门开源模型。该功能支持 Meta Llama 2 7B、Mistral 7B 等模型,用户可在模型页面直接选择部署并通过 REST API 或 Cloudflare AI SDK 发起请求。

    推荐理由:将热门开源模型集成至 Cloudflare 无服务器推理平台,开发者可按请求付费运行。

3月22日周五
3月20日周三
  1. Hugging Face Blog76

    Cosmopedia:如何为预训练大语言模型创建大规模合成数据

    Hugging Face 发布了名为 Cosmopedia 的 250 亿 token 合成数据集及配套的 1B 规模模型 cosmo-1b,旨在通过完全开源的端到端流程复现 Microsoft Phi-1.5 的数据集。

    推荐理由:原文公开了 250 亿 token 数据集的完整生成链路和 1B 模型评测,读者可据此复现或改进合成数据预训练方法。

3月18日周一
3月15日周五
3月4日周一
  1. Hugging Face Blog40

    Argilla 与 Hugging Face 联合发起集体构建偏好数据集实验

    Argilla 与 Hugging Face 启动“Data is Better Together”实验,通过社区协作构建偏好数据集。该实验在数天内吸引 350 名贡献者完成超过 11,000 条提示词评级,并发布包含 10,000 条提示词的 10k_prompts_ranked 数据集。双方正招募首批社区 cohort,提供 Argilla Space 支持及免费持久化存储资源。

2月29日周四
2月8日周四
1月12日周五
1月4日周四
12月18日周一
  1. Hugging Face Blog36

    2023年:开源 LLM 回顾

    Hugging Face 回顾了 2023 年开源 LLM 的发展,强调开放模型促进研究可复现性与社区参与。2022 年开源模型遵循“规模竞赛”范式,包括 BigScience 发布的 BLOOM 系列,最大模型为 176B 参数,在 46 种人类语言和 13 种编程语言上训练;Meta 发布 OPT 系列,最大模型 175B 参数,性能接近 GPT-3。

12月11日周一
  1. Mistral AI62

    Mistral AI 开放 la plateforme 平台服务 beta 权限

    Mistral AI 开放了首个平台服务的 beta 权限,提供三个文本生成端点和一个嵌入端点。Mistral-tiny 端点基于 Mistral 7B Instruct v0.2,Mistral-small 基于 Mixtral 8x7B,Mistral-medium 基于原型模型,三者分别在 MT-Bench 上取得 7.6、8.3 和 8.6 分。

    推荐理由:Mistral AI 开放了首个平台服务 beta 权限,并给出了三个推理端点与嵌入端点的基准表现,方便开发者对比选择。

10月27日周五
10月3日周二
  1. Hugging Face Blog87

    Hugging Face Tokenizer 新增 chat_template 属性以解决聊天模型格式不匹配问题

    Hugging Face 在 tokenizer 中新增 chat_template 属性,用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式,使用错误格式会导致严重的性能下降且难以调试,该功能将格式逻辑从代码库移至模型仓库,允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。

    推荐理由:文章解释了 Chat template 如何解决格式错配导致的性能衰减问题,并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。

9月29日周五
8月22日周二
8月1日周二
7月21日周五
7月17日周一
3月10日周五
3月2日周四
  1. Hugging Face Blog32

    Hugging Face 发布 Diffusers 库伦理准则与安全防护机制

    Hugging Face 在 Diffusers 库文档中发布了伦理框架,旨在指导维护者处理社区贡献并明确决策价值观。 该框架确立了透明、一致、简洁、可及、可复现及负责任六大核心原则。同时,团队与安全社区合作实施了多项安全机制,包括内容标签、偏见评估工具、Safe Stable Diffusion 以及 OpenRAILs 许可协议,以降低技术应用风险。

2月24日周五
2月10日周五
  1. Hugging Face Blog72

    Hugging Face 发布 PEFT 库实现参数高效微调

    Hugging Face 发布 PEFT 库,集成 LoRA 和 Prompt Tuning 等技术,与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存,且模型权重仅 19MB 即可保存部署,性能接近全量微调。

    推荐理由:官方开源了可插拔的轻量微调库,允许用 MB 级参数文件在消费级显卡上复现全量微调效果,改变了大模型适应下游任务的成本结构。