跳到正文
11月17日周二
  1. arXiv · NLP40

    大语言模型助力 AI 基础设施:全生命周期综述与跨研究定量综合

    本文系统综述了大语言模型(LLM)在 AI 基础设施全生命周期中的应用,涵盖加速器设计、内核工程、编译、部署、运维、数据管理及能效优化。 文章按 LLM 管理的主要资源构建分类法:面向产物的计算方法、面向运行的部署/系统状态方法,以及面向资源的数据与能效方法。

  2. arXiv · NLP35

    基于生成式 AI 的全屋智能服务架构:边缘模型、记忆管理与家居应用

    该论文提出以家庭本地服务器为核心的设计导向综述框架,梳理了生成式 AI 在全屋智能服务中的应用架构。 框架识别出本地服务器的九项职责,生成模型负责感知与意图理解,确定性验证及授权租约限制动作风险。 现有基准测试依赖虚拟环境,无法替代真实部署评估;本地部署本身不必然更安全。

  3. NVIDIA Blog29

    NVIDIA Photonics 助力 Lambda 提升 AI 工厂韧性与效率

    Lambda 部署 NVIDIA Photonics CPO 交换机连接 GB300 NVL72 机架,实现最高 5 倍能效提升与 15 倍可靠性增强。 每款交换机配备 144 个 800Gb/s 端口及 18 个可更换光源,光模块中位温度降至 36°C,网络延迟减少最高约 10%。 通过缩短电信号路径并移除 retimer 芯片,该技术降低了网络中断对大规模 AI 集群的影响。

  4. AWS Machine Learning Blog46

    Amazon Bedrock 开源权重模型支持显式提示缓存

    Amazon Bedrock 开源权重模型新增显式提示缓存,通过 Chat Completions API 标记可复用前缀,降低输入成本与延迟。 支持隐式与显式两种模式,显式模式使用 prompt_cache_breakpoint 标记缓存层级,仅共享前缀计入高价缓存写入费,避免非复用内容额外支出。 缓存由 Amazon Bedrock 自动管理,用户数据不用于模型训练。

11月16日周一
  1. arXiv · ML20

    FlashSampling 提出精确采样原语,通过融合至 LM head 矩阵乘法减少 vLLM 解码延迟

    FlashSampling 将精确采样融合进 LM head 矩阵乘法,避免在 HBM 中生成完整 logits 张量,并在 4 种数据中心 GPU 上实现内核级加速。 在张量并行解码中,方法用流式对等写入替代 logits 的 all-gather,支持最多 8 个 GPU 通信与计算重叠,且在 vLLM 端到端测试中每输出 token 时间最多降低 10%。

  2. arXiv · AI38

    AscendGYM:面向昇腾 NPU 真实负载的成本感知内核优化基准

    昇腾NPU团队推出AscendGYM基准测试,其初始套件包含48个内核,覆盖三个难度级别,所有测试用例的数据类型和张量形状均源自真实训练与推理任务。 AscendGYM支持模型评估和模型-框架评估两种模式,并提出了结合加速倍数与token成本的新指标STS(Speedup-Token Score),用于衡量可接受预算下的实际内核优化能力。

11月14日周六
  1. AWS Machine Learning Blog31

    Amazon Bedrock AgentCore runtime V2 快速会话启动架构模式解析

    Amazon Bedrock AgentCore runtime V2 采用环境快照机制,将会话启动时的镜像拉取与初始化前置,从而加速恢复过程。 V2 在创建或更新运行时生成快照,新会话通过恢复快照启动,仅按需从镜像加载文件。 该版本支持构建钩子以预热依赖,并通过 CloudWatch 指标区分平台开销与代码执行时间。

  2. Google Research85

    Google Research 发布 Antigravity /teamwork 多智能体协作功能及最新科研成果

    Google Research 宣布在 Antigravity 平台开放 /teamwork 多智能体协作功能,并展示了其在数学证明、分子化学发现及代码优化等领域的最新应用成果。

    推荐理由:原文展示了多智能体在数学证明、分子发现和代码迁移中的实际应用,读者可据此评估其在科研和工程领域的可用性。

  3. AWS Machine Learning Blog30

    AssemblyAI 利用 Amazon EC2 Spot 在 AWS 上优化语音转文本推理成本

    AssemblyAI 采用 Amazon EC2 Spot 与按需实例混合架构,在保持 SLA 的前提下大幅降低大规模 GPU 推理成本。 架构基于 Amazon ECS 多容量提供者策略,分散使用 g4dn、g5、g6 实例族,并通过 Amazon SQS 实现中断任务自动重试。 该方案满足医疗、金融等行业的欧洲数据驻留合规要求,已在 AWS Marketplace 提供 API 服务。

  4. AWS Machine Learning Blog43

    Amazon SageMaker HyperPod 新增 Data Capture 功能以构建模型改进飞轮

    Amazon SageMaker HyperPod 推出 Data Capture 功能,将实时推理输入输出记录至 Amazon S3,帮助团队检测数据漂移。 该功能提供三个独立层级,支持在 SageMaker 端点、负载均衡器或模型 Pod 处采集全量负载,且对模型可用性零影响。 用户可利用捕获数据通过 Amazon Athena 分析并标记新盲区,结合微调提升特定领域模型准确率。

  5. AWS Machine Learning Blog58

    Amazon Bedrock 教程:为 AI 开发与生产力工具配置成本归因与用量控制

    Amazon Bedrock 可通过零代码改造的 IAM principal 归因功能,追踪 Claude Code、Codex 等 AI 工具在每次推理调用中的用户级成本。该教程展示了配置 IAM Identity Center 实现单用户认证、将 session 标签写入 CUR 2.0 以进行成本拆分,以及如何结合 AWS Budgets 或 LLM Gateway 设置用量上限的完整流程。

11月13日周五
  1. NVIDIA Blog34

    AI 正帮助医疗团队更早为病人提供正确护理

    AI 正帮助医疗团队将时间从常规任务转向患者,加速护理流程。NVIDIA 技术为应用提供算力,Proximie 利用 NVIDIA Cosmos 3 在 700 多间手术室部署,使周转速度提升 45%。ConcertAI 借助 AI 引擎将临床试验匹配速度提升至手动方法的 3 倍,支持高达 50% 的入组率增长。

  2. arXiv · AI34

    NVIDIA 提出 Instant NuRec,前馈 3D 高斯重建实现驾驶场景仿真

    NVIDIA 发布 Instant NuRec,前馈神经网络将短时多视角驾驶日志单次前向转化为可仿真的 3DGS 世界。 10-20 秒多摄像头场景重建耗时约 1.5 秒,在 Waymo 数据集上 PSNR 较最强基线提升 2.01 dB。 模型深度集成于 NuRec,并支持 AlpaSim 闭环仿真,降低自动驾驶开发成本并提升安全性。

  3. arXiv · AI20

    AskALCF:用于 HPC 用户支持的系统自改进智能体流水线

    AskALCF 是一种面向 HPC 用户支持场景的智能体日志分析与系统自改进流水线,将生产中未定位故障比例从 41.4% 降至 14.2%。 其诊断核心结合了答案质量评估与双范围充分性测试,可区分“文档缺失”与“检索失败”,并将失败路由至知识、提示、模型或工具执行的对应修复路径。 该工作证明了受生产证据驱动的受控自进化机制,为部署后的 AI 支持系统提供了超越知识库定期更新的持续改进基础。

  4. arXiv · NLP33

    基于记忆的分类器草案模型 Olifant 实现绿色文本生成

    基于记忆分类器的草案模型 Olifant 在 CPU 上预测下一 token 耗时低于 0.3 ms,无需 GPU 或反向传播。在无 KV cache 的 LLM 验证器中,Olifant 接受率达 38.1%,吞吐量提升 2.43 倍,单 token 能耗降低 2.51 倍。这表明只要草案生成成本极低,推测解码在快速验证器时代仍具有显著能源效率优势。

  5. arXiv · AI43

    Together Compiler:面向AI推理的持续编译系统

    Together AI 推出持续编译系统 Together Compiler (TKCC),采用智能体爬山法优化 AI 推理负载。 在 InferenceX 基准上,TKCC 在 Llama 1B 工作负载上比手写 Megakernels 快 1.7 倍,在前端模型上比最佳开源引擎 TPS 高 2.6 倍。 TKCC 已在生产环境中服务数万亿 tokens,支持跨硬件平台的高效推理部署。

  6. arXiv · ML28

    MARS:GPU 内存受限下实现高工作流吞吐和低 KV 缓存抖动的智能体服务系统

    MARS 提出协调工作流准入控制与引擎内调度的智能体服务系统,旨在解决 GPU 内存受限下多轮工作流因 KV 缓存复用导致的反复驱逐(抖动)问题,实现高工作流级 goodput。 在两个模型和三种 GPU 配置上,MARS 相比最快基线实现了 1.59x-7.56x 的平均端到端延迟加速,并作为 OpenCode、Codex 等后端将工作流完成时间提升了 1.17x-1.87x。 开源代码已公开。

  7. arXiv · ML33

    并行提示技术加速共享上下文 LLM 推理

    并行提示(Parallel Prompting)通过并行解码独立问题流,解决了传统前缀缓存在解码阶段受内存带宽限制的瓶颈。 该方法在 SGLang 中仅需增加约 80 行代码,利用流 ID 注意力掩码实现单次阅读共享文档。在 CodeLlama-7B 模型及 8k-16k token 文档场景下,相比原生 SGLang 实现 3.7 至 6.0 倍加速。