Quantization-Aware Healing: 压缩 4-bit 模型 GPT-OSS 120B 性能反超全精度原版
Hugging Face 提出 Quantization-Aware Healing（QAH）方法，将 GPT-OSS 120B 模型压缩至 60B 参数并量化为 MXFP4 格式。该 4-bit 模型在 9 项基准测试中的 7 项上，性能超越同架构的 bfloat16 全精度版本。
#开源生态
#开源生态
今日 0 条Hugging Face BlogAI 评分4040
Hugging Face Blog精选AI 评分7676 Cosmopedia：如何为预训练大语言模型创建大规模合成数据
Hugging Face 发布了名为 Cosmopedia 的 250 亿 token 合成数据集及配套的 1B 规模模型 cosmo-1b，旨在通过完全开源的端到端流程复现 Microsoft Phi-1.5 的数据集。
推荐理由：原文公开了 250 亿 token 数据集的完整生成链路和 1B 模型评测，读者可据此复现或改进合成数据预训练方法。