Quantization-Aware Healing: 压缩 4-bit 模型 GPT-OSS 120B 性能反超全精度原版
Hugging Face 提出 Quantization-Aware Healing(QAH)方法,将 GPT-OSS 120B 模型压缩至 60B 参数并量化为 MXFP4 格式。该 4-bit 模型在 9 项基准测试中的 7 项上,性能超越同架构的 bfloat16 全精度版本。
Hugging Face 提出 Quantization-Aware Healing(QAH)方法,将 GPT-OSS 120B 模型压缩至 60B 参数并量化为 MXFP4 格式。该 4-bit 模型在 9 项基准测试中的 7 项上,性能超越同架构的 bfloat16 全精度版本。
Google Research 发布覆盖 50 多个城市的建筑级屋顶反射率扩展数据集,并上线高分辨率 Heat Resilience Earth Engine App 供公开使用。该数据集融合 Sentinel-2 卫星数据与 30 厘米分辨率商业影像,旨在帮助城市规划者通过冷屋顶方案缓解极端高温。研究指出,利用该数据进行的针对性冷屋顶规划在全球范围内可将城市极端高温缓解最高 0.5°C。
Hugging Face 提出 MosaicLeaks 基准,评测深研智能体在处理混合本地与网页信息时的隐私泄露风险。测试显示常规训练加剧了信息泄露,而新提出的 PA-DR 强化学习方法将严格链成功率从 48.7% 提升至 58.7%,同时将答案/全信息泄露率从 34.0% 降至 9.9%。
QIMMA 整合 14 个基准的 52,000 多个样本,成为首个包含代码评估的阿拉伯语 LLM 排行榜。该开源平台通过自动化与人工双重验证流程剔除低质数据,确保 99% 内容本土化。其评估体系覆盖文化、科学、法律及编程等领域,公开样本输出以提升评测可复现性。
GaLore 利用梯度低秩结构实现显存高效的大语言模型全参数训练,将优化器状态显存降低 82.5% 以上。该方法支持结合 8-bit 优化器,使 7B 参数模型能在 NVIDIA RTX 4090 等消费级 GPU 上完成训练。
Hugging Face 发布了名为 Cosmopedia 的 250 亿 token 合成数据集及配套的 1B 规模模型 cosmo-1b,旨在通过完全开源的端到端流程复现 Microsoft Phi-1.5 的数据集。
推荐理由:原文公开了 250 亿 token 数据集的完整生成链路和 1B 模型评测,读者可据此复现或改进合成数据预训练方法。