Amazon 10 亿美元数据中心社区计划再引批评
Amazon 推出 10 亿美元计划以应对数据中心引发的社区反对,此举因取消 NDA 获得称赞,但被批评淡化数据中心造成的环境污染。
Amazon 推出 10 亿美元计划以应对数据中心引发的社区反对,此举因取消 NDA 获得称赞,但被批评淡化数据中心造成的环境污染。
Microsoft 确认 MAI-Thinking-1 预训练未使用第三方 LLM 生成的合成数据,且避免了第三方模型蒸馏。微软还过滤了收集源中的 AI 生成内容,并排除了 Hugging Face 作为爬取目标,以确保模型血缘清晰。
GaLore 利用梯度低秩结构实现显存高效的大语言模型全参数训练,将优化器状态显存降低 82.5% 以上。该方法支持结合 8-bit 优化器,使 7B 参数模型能在 NVIDIA RTX 4090 等消费级 GPU 上完成训练。
Argilla 与 Hugging Face 启动“Data is Better Together”实验,通过社区协作构建偏好数据集。该实验在数天内吸引 350 名贡献者完成超过 11,000 条提示词评级,并发布包含 10,000 条提示词的 10k_prompts_ranked 数据集。双方正招募首批社区 cohort,提供 Argilla Space 支持及免费持久化存储资源。