跳到正文

技术方向

推理能力 最新动态

模型推理能力的进展:思维链、推理模型、数学与逻辑基准的突破与争议。

173 条精选近 30 天 89 条共收录 5,666 条

更新

精选归档 · 第 9 页

7月8日周二第 161–173 条
  1. Hugging Face Blog73

    Hugging Face 发布完全开源的 SmolLM3 模型

    Hugging Face 发布 3B 参数规模的 SmolLM3 模型,包括 Base 和 Instruct 两种变体,完全开源模型权重、架构细节和三阶段预训练配方。

    推荐理由:Hugging Face 发布并完全开源 SmolLM3 模型及完整训练配方,为构建同类 3B 模型提供了可复现的工程蓝图。

3月27日周四
12月17日周二
  1. OpenAI92

    OpenAI 发布 o1 模型及开发者新工具

    OpenAI 正式发布 o1 模型,重点提升复杂推理能力。同时推出了 Realtime API 改进和新微调方法,旨在增强开发者的工具可用性。

    推荐理由:OpenAI 官方宣布推出 o1 模型及实时 API 改进,同时引入新的微调方法,为开发者提供了处理复杂推理任务和更灵活定制的基础能力。

7月24日周三
  1. Mistral AI85

    Mistral 发布 Large 2 模型,123B 参数支持 128k 上下文及增强推理能力

    Mistral 官方发布 Mistral Large 2,该模型拥有 123B 参数与 128k 上下文窗口,以单节点高吞吐量推理为设计目标,并在 MMLU 等基准测试中展现了优于前代且接近 GPT-4o 与 Claude 3 Opus 的性能。

    推荐理由:Mistral Large 2 在 1230 亿参数量下提供 128k 上下文与显著的成本效率优势,支持在单节点部署,适合关注长上下文推理与多语言场景的团队评估。

12月11日周一
  1. Hugging Face Blog82

    MoE 混合专家架构全面解析

    Hugging Face 发布技术博客解析混合专家(MoE)模型,以 Mixtral 8x7B 为例拆解 MoE 的路由、稀疏性、训练稳定性和部署优化。文章详细讲解了 Gate 网络的路由逻辑、负载均衡损失,并指出 MoE 在推理时具有更高速度但需要高 VRAM 加载所有参数,微调容易过拟合但适合高频指令调优。

    推荐理由:结合 Mixtral 8x7B 的背景,拆解 MoE 的路由、稀疏性、训练稳定性和部署优化逻辑,是掌握大模型架构的实用材料。

12月5日周二
  1. Hugging Face Blog76

    Optimum-NVIDIA 库发布:通过一行代码和 FP8 量化实现 LLM 推理加速

    Hugging Face 发布 Optimum-NVIDIA 推理库,支持在 NVIDIA 平台上通过修改一行代码启用 FP8 量化,实现最高 28 倍推理加速和 1200 tokens/s 的吞吐量。

    推荐理由:提供了从 Transformers 迁移至 Optimum-NVIDIA 的代码对比,展示了 FP8 量化在降低首字延迟和提升吞吐量方面的具体收益。

11月6日周一
9月27日周三
  1. Mistral AI93

    Mistral 7B 发布

    Mistral AI 发布 Mistral 7B,这是一个 7.3B 参数的大语言模型,采用 Apache 2.0 许可协议,可在本地、HuggingFace、vLLM 等环境中部署使用。

    推荐理由:官方给出 7.3B 模型相对 Llama 2 13B 的推理、代码表现和部署路径,可作为 7B 级开源模型能力对比的参照。

12月9日周五
  1. Hugging Face Blog63

    Hugging Face 详解 RLHF(基于人类反馈的强化学习)原理与开源实现

    RLHF 利用人类反馈直接优化大语言模型,使其对齐复杂的人类价值观。该流程包含预训练语言模型、收集数据并训练奖励模型、使用 PPO 强化学习微调语言模型三个核心步骤。Hugging Face 介绍了当前活跃的开源工具 TRL、TRLX 和 RL4LMs,并梳理了该领域的发展脉络、现存挑战及后续方向。

    推荐理由:将多模型协同训练的复杂机制拆解为三阶段并梳理开源工具,帮助读者建立对RLHF完整管线的实操理解。

9月26日周一
8月17日周三
  1. Hugging Face Blog88

    Hugging Face 团队详解 LLM.int8() 实现大型语言模型 8-bit 矩阵乘法的原理与实践

    Hugging Face 发布技术教程,结合 transformers、accelerate 和 bitsandbytes 库讲解 LLM.int8() 在大模型部署中的应用。文章通过 BLOOM-176B 和 OPT-175B 的测试数据证明,LLM.int8() 能在保持 FP16 推理性能的前提下将显存占用降低 4 倍,且针对小模型(如 T5-3B)的推理延迟优化策略也已同步更新。

    推荐理由:Hugging Face 团队详细拆解了 LLM.int8() 的底层原理与集成实践,读者可借此实现大模型低显存推理的落地。

7月3日周五
  1. Hugging Face Blog62

    Hugging Face 深入解析 Reformer 长序列建模的内存优化技术

    Hugging Face 官方博客通过公式推导和基准测试,详细解释了 Reformer 模型如何在低于 8GB 内存限制下处理 50 万 token 序列。文章重点剖析了 LSH 自注意力、分块前馈层、可逆残差层和轴向位置编码四种核心技术,展示了它们分别如何降低 O(n^2) 内存复杂性和训练时的激活存储压力。

    推荐理由:原文拆解了 Reformer 四大内存优化组件,并给出基准测试数据,帮助读者理解长序列模型的工程实现取舍。

4月18日周三
  1. OpenAI63

    OpenAI发布进化策略梯度元学习方法

    OpenAI发布了一种名为Evolved Policy Gradients (EPG) 的实验性元学习方法。该方法通过进化学习代理的损失函数来实现在全新任务上的快速训练,使得代理在面对超出其训练机制的测试任务时(如在房间不同侧面寻找物体)也能成功执行。

    推荐理由:介绍了一种通过进化损失函数来加速新任务训练的实验性元学习方法,其核心价值在于揭示了提升智能体快速适应未知环境能力的技术路径。