技术方向
AI 写代码的一切：编码助手、Vibe Coding、代码模型评测与开发工作流变革。
142 条精选近 30 天 86 条共收录 1,165 条
Hugging Face 发布 PEFT 库，集成 LoRA 和 Prompt Tuning 等技术，与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存，且模型权重仅 19MB 即可保存部署，性能接近全量微调。
推荐理由：官方开源了可插拔的轻量微调库，允许用 MB 级参数文件在消费级显卡上复现全量微调效果，改变了大模型适应下游任务的成本结构。
Hugging Face 发布教程，介绍如何从零训练 110M 和 1.5B 参数的 GPT-2 模型 CodeParrot 以生成 Python 代码。该模型使用基于 180GB Python 代码清洗后的 50GB 数据集训练，并采用 🤗 Accelerate 库在 16 张 A100 GPU 上完成分布式训练。
推荐理由：提供了训练 GPT-2 大模型的具体步骤，涵盖数据清洗、分词器设计和分布式训练，可复用于自研代码模型。