Amazon EKS 使用 NVIDIA Run:ai 实现 GPU 内存分片
在 Amazon EKS 上,NVIDIA Run:ai 通过强制实施每 Pod GPU 内存限制,解决了无 MIG 功能 GPU 的资源共享难题。 该方案基于 Kubernetes 调度集成与 per-Pod 内存契约,允许单个 A10G GPU 同时运行两个分配 6 GiB 内存的 Pod。 此方法显著提升了交互式笔记本及小型推理服务的资源密度,但需注意其不保证故障隔离。
在 Amazon EKS 上,NVIDIA Run:ai 通过强制实施每 Pod GPU 内存限制,解决了无 MIG 功能 GPU 的资源共享难题。 该方案基于 Kubernetes 调度集成与 per-Pod 内存契约,允许单个 A10G GPU 同时运行两个分配 6 GiB 内存的 Pod。 此方法显著提升了交互式笔记本及小型推理服务的资源密度,但需注意其不保证故障隔离。
Meta 通过 Ranking Engineer Agent 系统实现广告排序模型中的技术传播(technique propagation)。该系统由 AI 智能体驱动,自 2026 年 3 月起承担超过 60% 的技术传播工作,早期数据显示工程生产力提升 3 倍,部分模型训练计算量中位数降低 4 倍,预计年底前实现 4500 万美元以上的计算成本节约。
作者以虚构自行车租赁语音智能体为例,说明在延迟、成本与可控性之间为语音 AI 选择推理栈的方法。文章先通过 1,200 通电话、24,000 次 LLM 请求。
Agentest 是一款开源 AI Agent 评估工具,通过读取 OpenTelemetry GenAI 轨迹执行 165 项确定性离线测试,无需 API 密钥或 LLM 裁判即可判定 Agent 实际行为。
LLM 接口常包含解析意图、消解歧义等隐性契约,直接替换易导致行为丢失。文章提出先通过审计消费者依赖恢复契约,再构建包含检索与确定性计算的替代方案。需明确区分匹配、验收与授权标准,并在可控环境中测试新决策路径,以维持替换后的可靠性。
AI编码加速导致软件开发生命周期(SDLC)中下游审查、测试等阶段成为新瓶颈,且生成速度超过团队理解能力造成认知断层。作者指出不能仅靠自动化下一步骤,需重新平衡交付系统以兼顾流程效率与知识传承,并建议通过有边界的试点验证AI介入的实际业务价值。
马化腾在腾讯28周年内部讲话中释放强烈紧迫感,指出公司面临AI时代的生存挑战。尽管三季度营收2073亿元、WorkBuddy MAU突破3200万,但腾讯云市场份额仅5%、自研芯片缺乏外部销售,且组织中层臃肿导致反应迟钝。文章认为腾讯需通过打破山头主义、重组工作流程以应对AI转型,其焦虑折射出所有互联网巨头在移动互联网与AI时代交替时的共性难题。
马斯克表示,SpaceX 目前每月新增约 0.5GW 的 AI 算力。该算力规模相当于部署 22 万颗 GB300 芯片及配套的 CPU、网络设备、冷却系统等基础设施。马斯克认为,公司真正的扩张瓶颈在发电端,并计划到明年年底将每月新增算力提升至超过 1GW。
Hugging Face 的 Daniel van Strien 对比了8个开源 OCR 模型,在 Nvidia RTX PRO 6000 GPU 上测试了850页扫描文档。
澳大利亚联邦银行(CBA)正投资自建数字基础设施以推动 AI 发展,此举因国内数据中心面临反对和延迟。 该行称,美国中期选举后,澳大利亚已成为更具吸引力的算力目的地。
Asus、Dell 和 MSI 推出的 Nvidia RTX Spark mini PC 搭载 6,144 核 Blackwell GPU、20 核 Grace CPU 和最高 128GB 内存。
Gartner 预测 2027 年全球人工智能支出达 4.05 万亿美元,同比增长 47.5%。 其中人工智能基础设施支出接近 2.4 万亿美元,增幅 53%;生成式人工智能模型支出提升 82% 至 510 亿美元。
Recharge AI-task 是一款用于在配额重置后自动继续 AI 任务并发送信号的用户友好型程序,支持 Linux 和 Windows。 该工具兼容 OpenAI Codex、Claude Code、Meta Muse Code 及 Google Gemini CLI,提供 GUI 仪表盘、系统托盘和 CLI 自动化功能。
英伟达临时CEO科莱特·克雷斯在财报电话会上宣布,对新云厂商的采购担保仅在其完成融资、建成数据中心并部署算力通过验收后生效。The Verge指出,因新云公司多依赖债务融资,融资成本上升或建设延期将削弱其按期部署GPU的能力,并使其面临更大经济压力。
研究提出 Systolic Linear Attention (SLA) 架构,通过协同设计使 2 级 SLA-R4 在 TPU v7x 上比开源 MaxText KDA 快 2.1x-2.6x,且 HBM 使用量降低 49%-61%。
FlexMoE 提出训练后多预算专家剪枝框架,将大型 MoE 模型转化为共享权重的子网络族。 该框架通过重要性排序专家 FFN 通道构建可切片权重空间,单次训练即可生成各预算下的剪枝掩码;在 Qwen2-57B-A14B 上剪枝 50% 路由专家参数后,保留约 99.8% 的基础性能。
SharQ 提出一种免训练方法,将激活稀疏性与 FP4 量化结合以降低 LLM 推理开销。 通过在线稀疏-稠密分解,生成自适应 N:M 掩码提取离群值,并将稀疏主干量化为 FP4,用稠密残差补偿误差。 在 Llama-3.1-8B 等模型上恢复 43%–63% 精度差距,RTX 5090 上实现 2.2–2.4 倍延迟降低。
Arbor 系统通过可插拔搜索策略(如 scored bandit、并行 agent swarms 和深度优先 sweep)赋予自主智能体在优化树上进行推理、回溯和深化的能力。
BubbleTea 首个利用 MoE 专家并行气泡进行微调的共置系统,相比 LLMStation 快 1.9–6.2 倍。 其编译器路径自动从服务 LLM 派生微调块,4 块 A100 GPU 上 p90 推理延迟保持良好。 突发负载下训练速度达普通训练器的 14 倍。
研究提出 SkimPrefill 方法,利用 Qwen3.5-0.8B 等小模型在低分辨率下快速定位关键图文单元,加速视觉语言模型(VLM)处理 100K token 长输入的 Prefill 阶段。
LEDGE 是一种无需执行张量运算即可评估异构边缘设备分布式 LLM 服务的轻量级模拟器。它在 10 台 Jetson 和 Raspberry Pi 设备上测试,Qwen 部署的请求级平均绝对百分比误差低于 3.6%,综合加速比达 135.3 倍。
论文提出代理式框架 Lodestone,通过分析代码计算语义自动发现硬件专用化机会,并在 20 个负载上实现平均 12.6%、最高 80.2% 的加速。 该框架从执行轨迹提取热控制流区域,利用代理描述计算功能并合并为计算族,最终通过参考输入验证语义正确性,进而提出 ISA 扩展等硬件建议。
Meta 在 LLM 推理流量整形器中实施 Cap-and-Track 设计,通过异步调度优化服务集群扩容与请求大小变化的处理。 该设计利用拒绝信号探测容量上限,在并发生产 A/B 测试中,使用比固定速率少 43% 的 H100 提供服务。 该系统每日处理超 3 亿在线请求,最高 24 小时处理 11 亿请求。
ENVAGENT 框架通过多智能体协同合成、构建并验证仓库级 Docker 环境,在 54 个科学代码仓库的平均成功率上达到 43.5 个,显著优于 Codex 和 Claude Code 的 23.5 个。 该框架结合确定性工具与智能体规划,在 7 种语言测试集上执行 2,108 项加权检查,综合评分达 62.02,证明环境特异性智能体编排能提升自动化构建效率。
研究团队发布 RSIBench-Infra,这是包含 20 个训练与推理任务的基准,涵盖 NVIDIA GPU 和 Ascend NPU。 任务部署最多使用 32 个加速器,Agent 可修改引擎、内核和指令层级的软件栈,通过 OCI 镜像层协议提交更改。 结果显示 66.2% 的任务实现了超过 1.10 倍的速度提升,证明当前 Agent 能改进生产级性能,但策略转化仍具挑战。
GateWatch 将 LLM 监控决策规则简化为布尔逻辑,在 Gemma-2-9B 上以 3.8 个 SAE 特征实现 80.49% 测试准确率。 其内存占用降低 99.98%,在 vLLM 中运行千个并发分类器时,仍保持 97-98% 的基线吞吐量。
研究提出超时级联策略,优先运行小模型,仅在必要时升级大模型。 该策略在 SWE-bench Verified 基准上将总 GPU 小时成本降低 33%,整体任务降低 16.4%,且准确率无损失。 级联策略性能接近最优任务路由器,为生产环境部署低成本编码智能体提供了低工程复杂度的实用路径。
提出运行于 NVIDIA Jetson Orin 网关的自学习生产级 HVAC 边缘堆栈,组件利用建筑自有数据持续自适应。 Transformer 预测器在单栋酒店中一周内收敛,送风、新风及风机盘管 MAE 分别为 0.37、0.39 和 0.11 摄氏度;RL 智能体在 104 个单元处于影子模式。
研究揭示低比特压缩导致视觉 CNN 精度坍塌集中于后期 pointwise 投影层。 保留不足 5% 关键层激活为 8-bit 精度,可恢复激进 sub-4-bit 压缩下 92% 的丢失精度。 低比特量化虽降低存储需求,但运行时解包导致 1.48x 至 21.5x 执行速度下降。
BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。
QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。
研究提出 NarrowSpec,证明在推测解码中,DFlash 和 EAGLE-3 草稿模型的隐藏宽度可缩减至目标模型(Qwen3-8B, GPT-OSS-20B)的二分之一或四分之一,且能维持较高的 token 接受率。
在 300 份合成 CV 池中,按工具建议顺序阅读可在半堆内容中发现 95% 的相关候选人,优于随机顺序。 该系统使用冻结的多语言 Transformer 编码器,结合会话级线性模型,每次标签后重新训练并在会话结束时丢弃。 审计发现文档长度即可排序导致指标无效,不确定性采样虽保持模型质量但增加委员会总阅读负载;托管 LLM 嵌入模型将零标签序数判别力从 0.66 提升至 0.80。
summary_zh: Datasette 插件 datasette-arrows 0.1a0 支持通过 register_output_renderer() 钩子实现 Apache Arrow 流式导出,无需将百万行数据全部加载至内存。
机械革命发布基于 NVIDIA RTX Spark 芯片的大师之路 X10 迷你主机,定位为“企业桌面 AI 主机”,采用 1.25L 机身设计。 支持 140W TDP 性能释放,具备 300GB/s 内存带宽和 1 Pflops FP4 稀疏 AI 算力,提供 64GB/1TB 及 128GB/2TB 两种配置。 定价信息将在后续更新中公布。
RunningHub全球AIGC长片创作大赛收官,征集1500余部作品,长剧与电影级长片占比超八成。 大赛涌现近百条百万播放爆款,获奖作品已启动院线立项;平台通过五层技术架构降低前期制作成本50%。 海马云投入亿级现金与无限算力,联合主流平台打通IP、制作与发行全链路。
Cosmonic CTO Bailey Hayes 探讨 wasmCloud 如何优化分布式 AI 推理,指出 WebAssembly 因轻量、快速启动和低资源消耗适合边缘实时推理。 演示显示使用 Ollama 的图像分析组件体积仅 292 KB,远小于传统容器,提升了本地开发与部署效率。
Exa 在 AWS Inferentia2 和 Trainium2 硬件上优化嵌入基础设施,吞吐量提升 50%。 通过权重布局优化、自动混合精度及自定义 NKI 内核减少内存溢出和 FLOPS,实现最高 1.5 倍性能增益。 单位经济性的改进支持 Exa 在数十亿文档规模下更高效地索引网络数据。
微软正式发布 MAI Licensed Weight,允许企业在自有 Azure 环境中部署、定制和升级微软前沿 AI 模型。
Viper Messenger 1.5.35 版本在 Mac 端侧上线 AI 聊天功能,使用 gpt-oss-20b 模型结合应用内指南回答 Viper 相关问题,且全程离线运行。该版本在不训练模型权重的前提下,通过改写指南页面、拆分问题和代码校验将正确率从 1.5.34 的 41% 提升至 61%,幻觉率从 24% 降至 4%,支持 Apple M5 Pro 等 24GB 内存设备。