跳到正文

技术方向

Agent 智能体 最新动态

让模型自主规划、调用工具、完成多步任务的技术方向——从 Claude Code、Manus 到各家 Agent 框架与评测基准的全部动态。

362 条精选近 30 天 259 条共收录 5,388 条

更新

精选归档 · 第 19 页

3月9日周四第 361–362 条
  1. Hugging Face Blog76

    Hugging Face 发布 trl 与 peft 集成，支持在 24GB 消费级 GPU 上微调 20B 大模型

    Hugging Face 官方发布 trl 与 peft 的集成更新，实现资源受限下的 LLM RLHF 微调。通过 8-bit 矩阵乘法和 LoRA 适配器降低显存占用，在 24GB 的 NVIDIA 4090 GPU 上成功微调 20B 参数量的 gpt-neox 模型，展示了消费级硬件参与大规模模型训练的可能性。

    推荐理由：将 LoRA 与 8-bit 量化结合，让消费级 GPU 承担 20B 模型微调，为资源有限的团队降低 RLHF 落地门槛。

2月10日周五
  1. Hugging Face Blog72

    Hugging Face 发布 PEFT 库实现参数高效微调

    Hugging Face 发布 PEFT 库，集成 LoRA 和 Prompt Tuning 等技术，与 Transformers 和 Accelerate 无缝结合。使用 LoRA 微调 bigscience/T0_3B 模型只需 11GB 显存，且模型权重仅 19MB 即可保存部署，性能接近全量微调。

    推荐理由：官方开源了可插拔的轻量微调库，允许用 MB 级参数文件在消费级显卡上复现全量微调效果，改变了大模型适应下游任务的成本结构。