NVIDIA AI Day Singapore:展示东南亚人工智能进展
NVIDIA 在新加坡举行 AI Day 活动,与合作伙伴共同展示东南亚地区的人工智能进展。活动重点展示了 NVIDIA Nemotron 开源模型和 Cosmos 世界模型在公共服务、智慧城市和企业应用中的落地情况,涵盖新加坡、马来西亚、泰国、越南和文莱的多项合作项目,推动区域人工智能从试点走向规模化部署。
NVIDIA 在新加坡举行 AI Day 活动,与合作伙伴共同展示东南亚地区的人工智能进展。活动重点展示了 NVIDIA Nemotron 开源模型和 Cosmos 世界模型在公共服务、智慧城市和企业应用中的落地情况,涵盖新加坡、马来西亚、泰国、越南和文莱的多项合作项目,推动区域人工智能从试点走向规模化部署。
Hugging Face 提出 Quantization-Aware Healing(QAH)方法,将 GPT-OSS 120B 模型压缩至 60B 参数并量化为 MXFP4 格式。该 4-bit 模型在 9 项基准测试中的 7 项上,性能超越同架构的 bfloat16 全精度版本。
Meta 发布开源多模态模型 Muse Glimmer,模型为 30B 参数,基于 Muse 蒸馏而来,采用 Apache 2.0 许可,专为本地智能体应用场景设计。
推荐理由:文章展示了Muse Glimmer在本地部署场景下的自优化演示,为隐私敏感应用提供了低成本运行方案。
Hugging Face 提供了 Skill 和测试框架,用于协助将 transformers 中的语言模型移植到 mlx-lm,实现模型几乎即时可用。该 Skill 作为辅助工具而非自动化流程,支持贡献者处理脚手架搭建及架构校验,同时为审查者生成符合代码规范的高质量 PR 及可复现测试证据。
Public AI Inference Utility 正式成为 Hugging Face Hub 支持的 Inference Provider。该开源项目通过 vLLM 后端和全球负载均衡层,为 Swiss AI Initiative 等机构提供基于捐赠 GPU 时间的免费推理服务。
Hugging Face 宣布在 Gradio 中支持通过单一参数实现生成内容的可视化水印。开发者可为图像和视频添加水印,或直接嵌入包含元数据的 QR 码。文本生成界面也支持自定义水印,确保用户复制 AI 回复时自动附带来源归属信息。
H Company 在 Hugging Face 上发布开源行动视觉语言模型 Holo1 家族和 WebClick 多模态定位基准。
推荐理由:开源Holo1行动VLM家族与Surfer-H代理给出可对比的成本和精度基准,读者可评估网页自动化的落地门槛。
Mistral 发布新模型 Mistral Large 2,123B 参数、128k 上下文窗口,MMLU 预训练版本达到 84.0%。Mistral 称其在代码和推理上表现与 GPT-4o、Claude 3 Opus、Llama 3 405B 相当,并优化了指令跟随、减少模型幻觉。
推荐理由:官方给出了 MMLU 84.0%、123B 参数、128k 上下文窗口和 la Plateforme 上的部署入口,可判断它与 GPT-4o、Claude 3 Opus 等模型在性价比上的位置。
Hugging Face 发布了名为 Cosmopedia 的 250 亿 token 合成数据集及配套的 1B 规模模型 cosmo-1b,旨在通过完全开源的端到端流程复现 Microsoft Phi-1.5 的数据集。
推荐理由:原文公开了 250 亿 token 数据集的完整生成链路和 1B 模型评测,读者可据此复现或改进合成数据预训练方法。
Hugging Face 发布在 Intel Meteor Lake 笔记本上运行 Phi-2 的方案,使用 Intel OpenVINO 和 Optimum Intel 对 microsoft/phi-2 做4-bit 权重量化,再运行在搭载 Core Ultra 7 155H 的中端笔记本上。
Hugging Face 与 NVIDIA 联合推出 Train on DGX Cloud 服务,允许 Enterprise Hub 用户通过无代码界面在 Hugging Face Hub 上微调 Llama、Mistral 等模型。该服务提供 NVIDIA H100 GPU 算力,按小时计费为 $8.25,支持 1 至 8 块实例配置,训练后的模型将自动上传至私有仓库。
Argilla 与 Hugging Face 启动“Data is Better Together”实验,通过社区协作构建偏好数据集。该实验在数天内吸引 350 名贡献者完成超过 11,000 条提示词评级,并发布包含 10,000 条提示词的 10k_prompts_ranked 数据集。双方正招募首批社区 cohort,提供 Argilla Space 支持及免费持久化存储资源。
Hugging Face 在 tokenizer 中新增 chat_template 属性,用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式,使用错误格式会导致严重的性能下降且难以调试,该功能将格式逻辑从代码库移至模型仓库,允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。
推荐理由:文章解释了 Chat template 如何解决格式错配导致的性能衰减问题,并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。
TRL 库新集成了 DDPOTrainer 类,用于将 Denoising Diffusion Policy Optimization (DDPO) 应用于 Stable Diffusion 模型,使其输出更符合人类审美等偏好。
推荐理由:通过 TRL 新集成的 DDPOTrainer,读者可以直接在本地用 RL 微调 Stable Diffusion,降低扩散模型对齐人类偏好的门槛。
Hugging Face 梳理了包含 Llama 2 和 BLOOM 在内的开源大语言模型生态。Llama 2 是允许商用的开放获取模型,HuggingChat 提供最大检查点试用。BLOOM 是首个参数量超越 GPT-3 的开源模型,StarCoder 则针对 80 多种编程语言进行代码补全训练。
教程演示利用 Hugging Face datasets 和 transformers 库微调 Vision Transformer (ViT) 处理图像分类。使用 google/vit-base-patch16-224-in21k 模型及其配套的 ViTImageProcessor,通过加载 beans 数据集并应用标准化预处理,将图像转换为模型可接受的张量输入以完成微调流程。
Hugging Face 发布 Python 情感分析入门指南,展示如何用预训练模型实现自动化情感标记。教程提供 5 行代码示例,利用 `transformers` 库的 `pipeline` 函数调用 Hub 上超过 215 个公开模型,无需机器学习经验即可处理数据。
Hugging Face 发布教程,演示使用 Transformers 和 Tokenizers 库从头训练 84M 参数的小模型 EsperBERTo。该模型在 3GB 的 Esperanto 语料库上预训练,后续针对词性标注任务进行微调。字节级 BPE tokenizer 训练耗时约 5 分钟,编码序列平均长度比 GPT-2 减少约 30%。