AI 工作速度对比:当前模型任务执行速度约为人类的十倍
当前 AI 执行其可完成的任务速度约为人类的 10 倍。 在通用人工智能普及阶段,单个副本预计接近人类速度,但可通过 24/7 运行和并行拆分工作显著缩短长任务耗时。 特定硬件架构可将 AI 原始计算速度提升至人类的 1000 倍。
当前 AI 执行其可完成的任务速度约为人类的 10 倍。 在通用人工智能普及阶段,单个副本预计接近人类速度,但可通过 24/7 运行和并行拆分工作显著缩短长任务耗时。 特定硬件架构可将 AI 原始计算速度提升至人类的 1000 倍。
TeamOnly 提供 AI 应用企业私有托管,通过 npx teamonly deploy 命令实现内部工具部署。 支持 Google/Microsoft 企业账号登录,自动生成数据库与密钥管理。 定价为 14 天免费试用后每月 19 美元,适用于 Claude Code 或 Cursor 构建的应用。
希捷发布 FireCuda Forge 外置存储设备,基于 Alkemi 平台利用机器学习在机械硬盘与 SSD 间自动迁移高频数据。 提供 8TB 和 20TB 机械硬盘版本,售价 699 美元和 899 美元,最高读取速度 2500MB/s。 设备未附带 NVMe SSD,需用户自行购买搭配,支持 Windows 11 或 macOS 26。
Epoch AI 推出 Inference Performance Index(IPI),以 NVIDIA GB300 为基准(GB300e)量化不同芯片在智能体推理负载下的并发服务能力。
推荐理由:该研究指出单纯使用FLOP/s会严重低估推理性能,并推出IPI指数将内存与通信纳入考量,让读者能直观对比不同芯片在智能体负载下的真实服务容量。
LLM 编码导致大量低质量、缺乏一致性的项目涌入,软件选型需筛选的项目数量呈数量级增长。 传统的测试覆盖和文档标准失效,决策者被迫依赖社区规模或人工识别 LLM 痕迹,显著增加了评估成本。
达卯科技与浦东环保能源签署战略合作协议,共同推动算电协同场景落地。 首个落地项目为上海黎明智算中心算电协同平台建设,涵盖资源监控、协同调度等核心功能。 该合作将推动智算中心升级为主动能源运营节点,助力东部城市型智算中心向E-AIDC演进。
openJiuwen发布TTSE(Two-Track Self-Evolution)双轨在线自演进框架,旨在让LLM Agent不仅积累执行技巧,还同步更新对环境的认知。
DayBreak 是一个自托管的美股分析工具,其核心设计是 AI 不生成数字。系统通过代码确定性地计算市场数据、生成事实表,并仅使用 Google Gemini 将已验证的事实转化为自然语言简报。
美国基准利率上升,使数据中心开发商面临更高的融资成本。 此前 1 万亿美元的债务将在未来数月到期,再以更高利率再融资会让 AI 建设变得更昂贵,并加剧选民与投资者的负面情绪。
针对LLM前缀缓存,分析显示简单的最近最少使用(LRU)算法表现稳健,可媲美复杂策略。 研究基于200亿token生产轨迹,评估了14种淘汰算法,发现会话节奏主导前缀复用,使近期性成为强预测因子。 研究确立了结合快速降级与计算感知淘汰的设计原则,相关模拟器与数据已公开。
Tevatron 3.0 集成 Megatron-Core,开放源代码并支持 Qwen3-30B-A3B 重排序器训练。 在 BEIR-15 测试中,全参数 8B 密集模型 epoch 时间降低约 4% 至 22%,内存占用提升;MoE 模型激活参数减半且推理吞吐量更高。
一项针对开源系统的大规模实证研究分析了五个主流 LLM 服务框架的实际采用情况。 研究发现 vLLM 在流行度和采用率上最高,并行计算、内存管理和网络剪枝是最常用的方法类别。由于缺乏多框架组合使用的普遍性,开发者通常依赖单一框架,但结合框架可补充服务堆栈中的互补能力。 该研究为研究人员、维护者及从业者提供了 LLM 系统采用的实证参考。
研究人员提出秩感知谱界方法,为 Transformer 注意力低精度训练提供溢出保护,在 Llama-2-70B 等模型上消除 FP8 溢出且 MMLU 准确率持平。 该方法基于交互矩阵谱范数计算每层缩放因子,结合隐式幂迭代和融合注意力内核,相比无秩感知界收敛更紧密。 论文已被 ICML 2026 接收,代码已公开。
Mosaic 提出内存高效推理系统,将扩散 LLM 最大推理序列长度在相同硬件上提升 15.30-32.34 倍,内存峰值与平均值比率降低 2.71 倍。 系统整合 mask-only logits 内核、延迟分块优化器及全局内存管理器,实现无训练且保留精确模型输出,端到端延迟降低 2.5%-55.4%。 该研究发表于 ICML 2026,代码已公开。
OrigaMI 将机制可解释性应用作为 LLM 服务系统的一级组件,实现简化开发、高效执行与灵活部署。 其通过 Python DSL 简化访问模型内部状态,利用 FlashInspect 内核高效获取注意力分数,并支持运行时动态激活。 OrigaMI 执行开销比现有框架低两个数量级,动态激活速度提升 1000 倍,使可解释性应用在生产环境部署成为可能。
研究者提出 LAD-TS 任务调度方法,结合潜在动作扩散网络与深度强化学习,在边缘网络中优化 AIGC 服务延迟。 该系统原型 DEdgeAI 显示,相比最先进方法,服务延迟减少 7.36%–18.11%;相比代表性商业平台,延迟减少 34.07%–94.96%。
MasterControl 内部工具 Runway 围绕 NVIDIA AIPerf 构建治理决策管道,用于满足 LLM 部署的合规与法律义务。 Runway 架构实现缓存与审计机制统一,确保实验前设计与决策后合规的可追溯性。 三项测试发现:TensorRT-LLM 与 vLLM 排名随并发量反转,高价 GPU 可能具备更低单请求成本,且引擎配置优于引擎选择。
基于采样的规划器配合低比特世界模型时,舍入误差若在所有候选中共享且跨迭代持久,会导致成功率下降多达 100 分;在相同位宽下,使用每迭代重绘的共享抖动(dither)可消除大部分性能损失。
OOM 系统通过协同设计专家执行与内存分配,实现全参数 MoE 模型在单节点上的高效离载训练。 在 4 张 H100 上支持 1M token 上下文训练 122B 参数模型,而 FSDP2 等系统在 512K token 时即耗尽显存。 相比 CPU 离载 FSDP2,OOM 吞吐量提升 1.58 至 4.08 倍,且主机内存占用最少仅为 FSDP2 的 1/3。
针对加速器集合通信库静态配置无法适应实时网络拥塞的问题,基于 LSTM 检测器与 D3QN 选择器的双智能体动态优化器显著提升了性能。 在 Chameleon Cloud 裸金属集群测试中,该方法将 AllReduce 延迟较 NCCL 降低 36%,较 AutoCCL 降低 32%;在 A100 GPU 集群上最高带来 65% 加速。
Firepool 是 LinkedIn 面向 Agent 和强化学习任务的 GPU 执行中介,峰值期间通过热池和待机容量处理了 3206 次 Pod 请求中的 94.7%。
论文提出 World Model Planning Accelerator (WMPA) 芯片架构,旨在解决嵌入式机器人中世界模型规划的高能耗与热限制问题。 DreamerV3 风格模型剖析显示其受内存带宽限制,GPU 能耗下限超过 5.9×10^10 倍;3D 热仿真表明连续规划可使毫米级硅片升温至 556 K。
SlimFM 通过压缩 LLaMA3-8B 构建低延迟推荐管线,在四个数据集上保留 99% 以上精度,推理延迟降低最高 3.4 倍。 该框架采用依赖感知结构化剪枝将模型压缩至 4.5B 参数,结合 LoRA 微调生成字段级语义嵌入并注入 CTR 特征交互。
在 Qwen3-30B-A3B 上,batch-aware routing 使专家权重读取减少 25-31%,每 token 能耗降低 12-18%。 在循环策略中,共享计算极少持续一个步骤,固定 mask 方案能耗为小型稠密策略的 11 倍;batch-aware 路由在 500 项评测中性能变化处于噪声范围内。
GMD-Mamba 通过分组多向扫描和仅在深层编码器使用 Mamba,将模型参数量降至 19.2M。 在 BraTS2023 数据集上,该方法取得 92.0% 平均 Dice 分数和 2.7 HD95 值。 代码已公开可用,并在 MSD Spleen 数据集上验证了竞争力。
FRESCO通过约束优化解决异步流水线训练中的梯度不一致问题,旨在以最小更新修改维持前向等价性。 在LLM预训练中,FRESCO优于代表性基线;流水线深度达32时,比最强基线少43%迭代次数和30%实际耗时,且内存开销减少8至921倍。 该工作为高利用率流水线并行训练奠定了基础,为资源受限系统上的大规模模型开发提供可扩展路径。
提出 AutoQS 方法,利用 LLM 自动化设计量化策略,在固定权重精度下搜索各层及算子的 group-size 分配。 通过低开销代理评估筛选候选方案,并保留备用分配以指导后续 LLM 提议,周期性进行实际量化以获取质量反馈。 在 Qwen2.5-7B-Instruct 上,AutoQS 使 7 项任务平均准确率比 GPTQ 和 AWQ 分别提升 0.70 和 1.12 个百分点。
论文提出联合优化内存、计算与卸载的方案,以解决边缘智能中 DNN 推理的内存瓶颈。 将能耗最小化建模为混合整数非线性规划,通过坐标下降算法实现近优性能,能耗最高降低 16.1%。
VerKV 采用混合架构实现 LLM 推理中的 KV Cache 压缩,结合 PoissonComp 采样与 KVFetch 算法,提供注意力计算的 $(\epsilon, \delta)$ 误差保证。 在 Qwen3-4B 等模型上,该方法将 GPU 内存占用降低 8-32 倍,CPU-to-GPU 数据传输量控制在 2-23%,同时保持 90-100% 的密集计算质量。
summary_zh: Atomic Split-K=8 导致 vLLM 中 97.61% 的 FP32 输出比较不一致,引发 17.30% 的 GSM8K 及 14.96% 的 MBPP 生成结果差异。
PISA-E 在四个 LLM 路由基准测试中,以最高宏平均任务性能表现优于最强集成竞争对手,ID 条件下领先 2.09 个百分点,OOD 条件下领先 2.87 个百分点。 该方法通过联合选择集成组合与基数,在无需重训练的情况下动态调整成本与质量偏好,显著降低推理开销。 在部分低成本运行点,PISA-E 相比最强竞争对手,平均推理成本降低约 36% 和 25%。
提出 AutoEMatic 运行时自适应混合精度推理框架,通过熵和隐藏状态更新信号动态调整权重、激活及 KV cache 精度。 基于 NVFP4 底层构建 AutoFP 多尺度浮点格式,实现 2、4、6 bit 精度;在 GB300 GPU 上保持 90-98% 的 NVFP4 解码吞吐量。
LoRazor 提出结合早期释放适配器与感知活跃行的 GPU 内核,在两个骨干模型和四项任务上将请求吞吐量提升最高 3.02 倍。 其机制是动态调整 LoRA 内核启动以修剪空闲 GPU 块,同时将平均相对任务准确率降低控制在 2.89% 以内。
建立联系边际效用、矩阵分解与 Transformer 语言模型 Key-Value 缓存的理论框架,在地理挖掘文档信息提取中,11.2M 参数分类器实现 90% 一级准确率。 该框架通过统一分配规则优化内存预算下的缓存管理,支持分层 TIES 模型合并与 LoRA 微调,诊断出均匀密度合并导致的退化解,需校准密度消除。
PithTrain 提出 ATE 维度并引入 ATE-Bench,在吞吐量上具备竞争力的同时实现更高 Agent 任务效率。 在新增功能任务上,PithTrain 比 Megatron-LM 少 62% Agent Turns,比 Megatron-LM 和 TorchTitan 分别少 44% 和 64% Active GPU Time。
Infrathon 基准测试评估了 6 个模型在 24 小时预算下的 150 次运行,累计超过 10,000 GPU 时。Claude Opus 5.5 在 KV-cache 压缩任务中超越人类设计基线,将平均压缩率从 6.82% 提升至 19.86%。
提出CVSA方法,通过验证-修正循环实现LLM长上下文解码的闭环质量控制,无需采样或推测解码基础设施。 CVSA在7B和70B模型上,LongBench评分距密集注意力仅差1.13分,128K上下文中位解码速度达6.21倍。 该方法被NeurIPS 2026接收,为提升长上下文处理效率提供新方案。
研究在五个模型上验证,二阶线性响应在16倍扰动范围内相对预测准确,但绝对预测呈重尾分布。Qwen3-4B等模型经修正后92%的预测误差在15%以内,而MoE模型在小扰动下呈现非二次响应,int8 KL散度以$\alpha^{0.63}$缩放。bf16梯度计算导致的四倍误差通过反向传播使用fp32消除,0.17-0.22 nats的归约误差下限限制了批量不变内核的精度。
新提出的短语级投机解码方法,通过冻结目标模型的隐藏状态预测1-3词短语作为草稿词表条目,在Qwen3-4B上保持输出与贪心解码一致。
研究显示使用 bf16 递归状态会导致 6 个混合推理模型推理变长,其中 5 个模型几何平均长度增加 1.07x 至 1.27x。 在 Qwen3.5-9B 上,bf16 RTN 使准确率从 85.6% 降至 70.8%,LiveCodeBench pass@1 下降 12.6 至 13.4 分;bf16 SR 可消除长度增加并恢复准确率至 87.6%。