Hugging Face 发布代码 LLM StarCoder
Hugging Face 推出代码大语言模型 StarCoder，基座 StarCoderBase 在 The Stack 1.2 数据集上用 80+ 种语言、1 万亿 token 训练出 15B 参数模型，StarCoder 进一步在 35B Python token 上微调得到。
推荐理由：官方展示了模型在 HumanEval 等基准上超越同体量开源及闭源模型的成绩，并给出了多语言与辅助对话的应用潜力。
技术方向
AI 编码 最新动态
AI 写代码的一切：编码助手、Vibe Coding、代码模型评测与开发工作流变革。
123 条精选近 30 天 75 条共收录 923 条
更新
精选归档 · 第 7 页
Hugging Face Blog精选AI 评分8282
Hugging Face Blog精选AI 评分7272 Hugging Face 发布 PEFT 库实现参数高效微调
Hugging Face 发布 PEFT 库，集成 LoRA 和 Prompt Tuning 等技术，与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存，且模型权重仅 19MB 即可保存部署，性能接近全量微调。
推荐理由：官方开源了可插拔的轻量微调库，允许用 MB 级参数文件在消费级显卡上复现全量微调效果，改变了大模型适应下游任务的成本结构。
Hugging Face Blog精选AI 评分6464 Hugging Face 教程：从零开始训练 CodeParrot 代码生成模型
Hugging Face 发布教程，介绍如何从零训练 110M 和 1.5B 参数的 GPT-2 模型 CodeParrot 以生成 Python 代码。该模型使用基于 180GB Python 代码清洗后的 50GB 数据集训练，并采用 🤗 Accelerate 库在 16 张 A100 GPU 上完成分布式训练。
推荐理由：提供了训练 GPT-2 大模型的具体步骤，涵盖数据清洗、分词器设计和分布式训练，可复用于自研代码模型。