跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

122 条精选近 30 天 63 条共收录 2,031 条

更新

精选归档 · 第 6 页

9月22日周二第 101–120 条
  1. 千问大模型89

    Qwen 实现芯片设计与推理适配双向闭环:模型自主完成 RTL 优化及推理栈调优

    Qwen 团队开展两项生产级实验:Qwen3.8-Max 自主完成 NoC 模块的 RTL 编码与物理实现,并独立将 Qwen3.8-Flash-Next 适配至真武 M890 芯片。芯片设计中,模型运行超 60 小时完成全流程,使模块面积降低 42%、功耗降低 59.5%。推理适配中,模型 56 小时完成优化,长文本 TTFT 降低 47%,单实例吞吐提升 96%。

    推荐理由:展示了 Qwen 在芯片设计端侧与推理端侧双向闭环中自主调用工具完成 RTL 优化及推理栈调优的工程路径。

9月8日周二
  1. 阶跃星辰开放平台63

    阶跃星辰:智能路由实践与思考,Step Router V1 实现约15%能力提升

    阶跃星辰产品负责人陶炳哲在 AGNTCon + MCPCon China 2026 分享智能路由实践,指出路由对象应是“模型 + harness”组合。在自建 Benchmark 上,Step Router V1 带来约 15% 能力提升,开发者可通过 Step Plan 接入以平衡能力与成本。

    推荐理由:作者以产品负责人身份解析智能路由,通过成本分析与路径对比,为工程落地提供决策参考。

9月1日周二
8月11日周二
  1. Mistral AI65

    Mistral 发布区域推理端点、支持第三方开源模型并成立欧洲算力联盟

    Mistral 宣布推出 Mistral Regional Endpoints(区域推理端点,GA 阶段)和 Mistral Priority Tier(优先级服务层级,公测阶段),允许客户选择在欧洲或美国运行推理以满足数据驻留与合规要求,并为首批关键工作负载提供附带正常运行时间 SLA 的定制速率限制。

    推荐理由:原文介绍了区域推理端点、第三方开源模型接入及欧洲算力联盟计划,展示了Mistral构建主权AI基础设施的具体功能与服务层级。

6月9日周二
5月27日周三
5月22日周五
  1. 智谱73

    智谱发布 GLM-5.1高速版API,输出速度达400 tokens/s

    智谱面向部分企业客户开放 GLM-5.1高速版API“GLM-5.1-highspeed”,模型输出速度达到400 tokens/s,在完整保留GLM-5.1旗舰能力的基础上实现了低延迟响应。

    推荐理由:原文通过实测对比展示了旗舰模型在保持能力前提下实现400 tokens/s低延迟的工程路径,为速度敏感场景提供了可参考的落地方案。

4月10日周五
  1. The AI POV79

    三星2026年一季度营业利润大涨755%揭示AI产业链价值转移

    三星电子2026年一季度初步营业利润为57.2万亿韩元(约379亿美元),同比增长755%,创公司历史单季纪录。利润中约95%来自Device Solutions部门,该部门HBM营收预计同比翻三倍,因AI加速器对HBM需求持续超过供应。

    推荐理由:文章将三星一季度利润增长拆解到HBM供应端,解释了AI经济中价值向硬件底层转移的结构。

3月27日周五
  1. Andrej Karpathy (X)72

    Karpathy:构建真实应用的 DevOps 琐碎工作才是 AI 编码的瓶颈

    Andrej Karpathy 指出,在构建真实应用时,最困难的往往不是编写代码,而是像拼装家具一样集成各种第三方服务(DevOps)。他期待有一天,只需向智能体下达指令,它就能自动完成 API 密钥获取、文档阅读、环境调试和生产部署等全流程 DevOps 工作,从而彻底摆脱人工点击网页和按钮的操作。

    推荐理由:作者指出现代应用构建中 DevOps 和繁琐的第三方服务集成是 AI 编码的主要瓶颈,并提出了让智能体全流程处理部署和配置的愿景。

10月24日周五
3月18日周二
  1. Hugging Face Blog75

    Hugging Face Xet 存储正式接入 Hub

    Hugging Face 官方宣布 Xet 存储架构正式在 Hub 上线,并于 2 月 20 日完成首批约 6% 下载流量、总计 4.5TB 模型与数据集仓库的迁移。

    推荐理由:Xet 存储正式接入 Hugging Face Hub 并完成首批 4.5TB 仓库迁移,其内容寻址分块机制让多 GB 级模型更新上传耗时从小时级降至秒级。

4月2日周二
  1. Hugging Face Blog65

    Hugging Face 上线 Cloudflare Workers AI 无服务器 GPU 推理功能

    Hugging Face 推出与 Cloudflare Workers AI 的新集成,开发者可通过按请求付费的方式,在全球边缘 GPU 上运行热门开源模型。该功能支持 Meta Llama 2 7B、Mistral 7B 等模型,用户可在模型页面直接选择部署并通过 REST API 或 Cloudflare AI SDK 发起请求。

    推荐理由:将热门开源模型集成至 Cloudflare 无服务器推理平台,开发者可按请求付费运行。

2月21日周三
  1. Hugging Face Blog94

    Google 发布 Gemma 开源大语言模型

    Google 发布名为 Gemma 的 4 个开源 LLM 模型,其中 7B 参数版本采用 6T token 预训练,8K context 下得分 63.75。Hugging Face 提供 transformers 4.38 集成支持,并说明使用 QLoRA 在单张 A10G GPU 上微调 gemma-7b 需约 9 小时。

    推荐理由:Hugging Face 给出了 Gemma 与同级模型的基准对比,以及消费级 GPU 微调实践入口。

12月5日周二
  1. Hugging Face Blog76

    Optimum-NVIDIA 库发布:通过一行代码和 FP8 量化实现 LLM 推理加速

    Hugging Face 发布 Optimum-NVIDIA 推理库,支持在 NVIDIA 平台上通过修改一行代码启用 FP8 量化,实现最高 28 倍推理加速和 1200 tokens/s 的吞吐量。

    推荐理由:提供了从 Transformers 迁移至 Optimum-NVIDIA 的代码对比,展示了 FP8 量化在降低首字延迟和提升吞吐量方面的具体收益。

  2. Hugging Face Blog65

    AMD 与 Hugging Face 合作实现 AMD GPU 开箱即用的大语言模型加速

    Hugging Face 宣布现已支持在 AMD Instinct GPU 上开箱即用地运行所有 Transformers 模型和任务,无需修改任何代码即可替换 NVIDIA GPU 的部署流程。

    推荐理由:Hugging Face 和 AMD 给出了在 AMD Instinct GPU 上直接运行 Transformers 模型和部署 TGI 的入口,读者可以据此把现有 NVIDIA 工作流迁移过去。

9月15日周五
  1. Hugging Face Blog65

    Hugging Face 详解 LLM 生产环境优化策略

    Hugging Face 技术博客详细解析了 LLM 在生产环境中的优化方法,涵盖低精度量化、Flash Attention 及架构改进。

    推荐理由:文章系统展示了量化、Flash Attention 和架构优化在长上下文推理中的实际内存与速度收益,为工程落地提供直接参考。

8月23日周三
  1. Hugging Face Blog60

    Hugging Face 在 Transformers 中整合 AutoGPTQ 实现大模型轻量化

    Hugging Face 官方宣布将 AutoGPTQ 库整合进 Transformers,支持使用 GPTQ 算法将模型量化为 8、4、3 或 2 位精度。4 位量化下准确率损失微乎其微,且小批量推理速度与 fp16 基准相当。

    推荐理由:Hugging Face 官方将 AutoGPTQ 量化库整合进 Transformers,提供 4-bit 等低精度支持并展示在单卡 A100 上运行大模型的基准表现。

8月17日周三
  1. Hugging Face Blog88

    Hugging Face 团队详解 LLM.int8() 实现大型语言模型 8-bit 矩阵乘法的原理与实践

    Hugging Face 发布技术教程,结合 transformers、accelerate 和 bitsandbytes 库讲解 LLM.int8() 在大模型部署中的应用。文章通过 BLOOM-176B 和 OPT-175B 的测试数据证明,LLM.int8() 能在保持 FP16 推理性能的前提下将显存占用降低 4 倍,且针对小模型(如 T5-3B)的推理延迟优化策略也已同步更新。

    推荐理由:Hugging Face 团队详细拆解了 LLM.int8() 的底层原理与集成实践,读者可借此实现大模型低显存推理的落地。

8月3日周三
  1. Hugging Face Blog60

    Hugging Face 发布 Private Hub,支持私有化部署机器学习开发环境

    Hugging Face 推出 Private Hub,允许企业在合规的私有环境中运行其完整的机器学习生态系统。该功能集成了 AutoTrain、Spaces 和 Inference API,支持模型微调、演示及推理部署,数据不出内网。更新显示,Private Hub 现已更名为 Enterprise Hub,不再提供本地部署,改为提供云端托管及混合云解决方案,并支持 SSO 等高级访问控制。

    推荐理由:介绍了私有化部署方案如何帮助企业加速模型全生命周期开发。

7月27日周三
  1. Hugging Face Blog65

    使用 XLA 加速 Hugging Face TensorFlow 文本生成

    Hugging Face 宣布通过 XLA 编译器显著加速 TensorFlow 文本生成,性能提升最高达 100 倍,在多数情况下比 PyTorch 快 9 倍。该方法通过在 tf.function 中启用 jit_compile 参数实现优化,并需对输入进行填充以固定张量维度,从而避免重复编译。

    推荐理由:展示了XLA编译将TensorFlow文本生成提速至百倍甚至超越PyTorch的方法,给出了可直接复用的优化步骤。