EchoMoE:通过激活压缩实现高效专家并行
提出轻量级架构修改EchoMoE,通过传输压缩差异替代完整隐藏状态,将MoE模型跨节点通信量减少58%,吞吐量提升22.6%。 该方法仅需约8500倍少于全预训练的token进行微调,支持量化通信且对vLLM有推理集成,18个基准测试平均性能损失控制在3.8个百分点内。
提出轻量级架构修改EchoMoE,通过传输压缩差异替代完整隐藏状态,将MoE模型跨节点通信量减少58%,吞吐量提升22.6%。 该方法仅需约8500倍少于全预训练的token进行微调,支持量化通信且对vLLM有推理集成,18个基准测试平均性能损失控制在3.8个百分点内。
26B 参数 MoE 扩散模型在带宽受限加速器上解码时,量化后 logits 采样流水线取代专家 GEMM 成为最大耗时来源。 该流水线处理 S 倍冗余 logit 条目,通过双层无损优化和 W4A16 专家内核,在 GSM8K、HumanEval、MATH 基准测试精度不变的情况下,实现 2.4-2.7 倍端到端加速。 该性能瓶颈特定于 MoE 扩散模型,代码和量化权重已开源。
VisHead-Spec 提出头路由视觉注意力机制,解决多模态推测解码在高并发下加速比下降问题。 该方法在 Qwen3-VL-8B 模型中,让推测解码器 40 个 KV 头中的 8 个读取图像特征,其余仅关注文本。 在 batch size 64 时,其吞吐量比自回归解码提升 16.0%,显著优于 DSpark 的 9.5%。
基于20,000次SWE-bench Verified等测试,研究揭示前缀缓存下上下文管理对LLM编码智能体成本的影响。 添加检索代码使读取和搜索命令减少18%–34%,但在缓存输入价格为非缓存十分之一时成本反而增加33%–42%;移除旧观察结果在无缓存折扣时节省19%–36%,有折扣时成本反增38%–116%。 表明上下文管理评估需同时考虑token价格与智能体后续行为。
研究发现,基于归因的剪枝在推理语言模型中测量不可靠,评分最终答案 token 会导致模型困惑度上升或准确率下降 27.6 至 32.2 分。 因果重要性无法定位到单个神经元,需以约 100 个神经元的组为粒度进行归因,且“推理特异性”重要性与通用重要性不可分离。 建议剪枝时应以推理 token 为评分对象,并优先使用准确率而非困惑度评估模型性能。
Xing 4 是 TeleChat 衍生系列,在昇腾芯片上实现了 285B 参数模型的前训练,使用 8,192 张昇腾 910C 卡。 前训练基于 MindSpore HyperParallel,结合拓扑感知混合分片与长序列工作负载管理。 引入 TeleGym 智能体执行平台,支持异步解耦执行与部分 rollout,为后续更大规模模型奠定昇腾训练基础。
Evolving Infra 发布,这是面向 Agent 自适应的 LLM 大规模推理系统。它支持在 GB300 GPU 集群上在线适配编码、数学和计算机使用 Agent 工作负载,无需离线性能分析。
一项针对AI超算互连性能的Trace驱动研究揭示了真实工作负载对延迟、带宽和抖动的敏感性。研究覆盖高达4,096个GPU的训练与推理负载,利用NCCL调度和LogGP模型估算运行时间下界。该方法结合特征分解与线性规划,识别出不同工作负载间的性能悬崖及带宽升级的边际收益。
Octopus CTO 阐述其工程团队在AI时代如何通过结果而非输出来衡量效率,包括部署周期、变更失败率等指标,并认为这些指标比传统的DORA指标更能反映客户价值。
OpenClaw 发布网关扩展稳定版 2026.10.33,集成自 2026.9.37 以来的累计改进及关键安全更新。 该版本基于 2026.11.4 产品基线,涵盖核心 npm 包、官方插件及 Gateway Docker 镜像,不包含原生应用。主要优化包括长对话内存管理、更新中断恢复、会话隐私强化及自动化 MCP 事件响应。
英伟达向景硕(Kinsus)投资超 10 亿美元现金,购买设备支持其桃园幼狮厂扩产先进 ABF 封装基板,产能目标扩大 3.5 倍以上。新产能预计 2027 年下半年开出,2028 年 Q3 达产,英伟达计划继续参与后续扩充,目标在 2030 年前掌握稳定产能。
微软宣布第二代自研人工智能加速器 Maia 200 正式投入规模化生产。Maia 200 采用 3 纳米工艺,具备 FP4 与 FP8 张量核心及 216GB HBM3e 内存,在 Teams、Copilot 等应用中每瓦 token 处理量较领先 GPU 基础设施提升 1.7 倍。
SHARD 开源分布式本地 LLM 推理引擎通过 UDP 发现和 FastAPI 端点,将局域网内多机 GPU VRAM 与系统 RAM 池化为统一推理集群,支持 7B–70B 模型部署。
Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,提供托管的多节点部署和分离式推理能力。在 Qwen3-235B-A22B-FP8 测试中,分离式架构吞吐量达到聚合架构的 2.05 倍。多节点聚合部署下,两节点配置保留单节点吞吐量的 99.1%。
推荐理由:通过 Qwen3-235B 与 Qwen3.5 基准测试,展示了分离式 prefill/decode 架构能提升 2 倍吞吐量,为优化大规模 LLM 部署提供了工程参考。
Pallav Gupta 分享了在 Amazon Bedrock AgentCore 上构建生产级 Agent 时降低处理大型 JSON 负载成本与延迟的三种策略。该方法将 Token 消耗降低 71%,平均延迟减少 80%,适用于处理大量结构化数据的智能体应用。
Amazon SageMaker AI 实时端点新增 KV cache 感知路由(KV-aware routing),利用模型容器上报的缓存状态将请求路由到已有长缓存匹配的实例。测试显示该策略在多轮对话场景下可降低 97% 的 p50 首 token 延迟,并提升 234% 的吞吐量,需通过环境变量开启缓存事件上报并在端点配置中设置策略为 KV_AWARE。
推荐理由:文章对比了两种路由策略在缓存命中率和延迟上的差异,并给出了在 SageMaker 中配置和验证的具体步骤,有助于评估该功能在自身推理服务中的收益。
AWS 提出降低生成式 AI 成本的框架,建议先判断工作流步骤是否需要模型,再用确定性代码处理规则、用受限决策调用处理固定选项、仅在开放式任务中调用 Amazon Bedrock 模型。文章给出了决策流程图和基于 AWS Step Functions、AWS Lambda 与 Bedrock 结构化输出的实现示例,强调通过缩小模型规格和避免不必要的模型调用来控制成本与延迟。
exec-sandbox 是一个 Python asyncio 库和命令行工具,允许在自托管的 Linux 或 macOS 主机上通过 QEMU microVM 运行不受信任的 Python、JavaScript 或 shell 代码,专为 AI Agent 编写代码的隔离执行设计。
文章展示了在 Amazon Bedrock AgentCore 中测试的三种 Snowflake OAuth 认证配置,旨在解决 AI 智能体调用 Snowflake MCP 服务器的身份验证挑战。
SpaceX 为采购 AI 芯片发行的债务工具最快本周将进入市场流通。该消息源自 Hacker News 的 AI 板块讨论。
作者在 Kubernetes 中部署 Qwen3.5 4B 模型作为 API,用于测试 Pi 智能体的编码能力。 该模型量化为 4 位,文件 2.7GB,运行于 RTX 2060 的 6GB VRAM 中。 使用 llama.cpp 的 llama-server,通过 K3s 的 HPA 实现自动扩缩容。
AWS Forward Deployed Engineering 已在包括美国、巴西、日本在内的 15 个国家面向商业及公共部门客户提供服务,并内置数十个生产级加速器。该服务聚焦 AI 从演示到生产的“最后一公里”,通过构建基础、自动化工作流及治理架构解决落地难题。例如 Marsh 通过该服务实现目标领域效率提升最高 70%,部分流程从小时级缩短至秒级。
Agent Skills 是复用 AI 工作流的可移植包,当前分发依赖 GitHub、skills.sh、ClawHub 等渠道,且不同客户端的安装路径与行为存在差异。作者介绍了用 OCI 镜像打包、签名和校验 Skill 的完整发布流程,并给出了规范兼容、安全性、打包与多 Registry 重试等检查清单。
Aionic Labs 的开源时序语言模型 OpenTSLM 现已在 Amazon SageMaker JumpStart 上开放部署。本文结合 Nexthink 的 IT 运维场景,演示了如何利用该模型分析设备遥测数据以提供主动式支持。
PostHog 团队分享使用决策模型(如 Jev)替代 LLM 处理结构化判断任务的生产经验。决策模型比前沿模型快 193.6 倍且成本低 444.6 倍,适合过滤无需昂贵 LLM 调用的请求。
Digamma 是一个注重执行效率与 Lisp 扩展性的轻量 Scheme 方言,集成 Vertex AI 和 Dialogflow CX。 其虚拟机 nanos 通过 LLVM JIT 按需将代码编译为原生代码,并支持基于纤程的并发模型与异步 I/O。 在 ARM64 架构下,利用 TBI 硬件特性实现零开销指针标签,提升运行性能。
Datasette Lite 发布了基于 Service Workers 和 Pyodide 的完全重写版本,可在浏览器中运行服务端 Datasette Python 应用。
LoanPro 与 AWS 合作,基于 Amazon Bedrock AgentCore 构建多智能体贷款服务助理,客户通话时间最多减少 15%。 系统运行 Claude Sonnet 5.5、Claude Haiku 5.5 及 Claude Opus 5.5 模型,采用 Strands Agents SDK 并集成 MCP 服务器。
在 Kubernetes 集群上运行 AI 编码智能体,可实现统一的安全、可复现性与规模化调度,优于本地笔记本执行模式。 每个任务运行于独立 Pod,结合 RBAC、NetworkPolicies 及 gVisor 等沙箱运行时;Agent Sandbox 项目进一步提供 Sandbox API 与预热池以加速启动。
寒武纪完成商汤 SenseNova Loop-9B 的 Day 0 适配,打通 MLU 平台推理链路。 该模型采用约 9B 参数,通过 56 次层计算扩展深度,4bit 量化后权重约 4.9GB,部署显存需求低至 10GB 内。 寒武纪基于 vllm_mlu 实现适配,复用 Qwen3-Next 算子,优化 mHC 路由性能,降低 Kernel Launch 开销。
summary_zh: ArisGlobal 通过调整 Amazon Bedrock 提示缓存策略,将 6 个月内 150% 的前缀增长转化为成本控制优势,使单次推理成本增加控制在 200% 以内。
一个生产级 Terraform 模块可在 AWS 上 20 分钟内部署完整的私有 LLM 基础设施,支持 Ollama 和 Open WebUI。 架构集成 Caddy 实现自动 TLS 和基本认证,通过 Docker 隔离服务,并使用加密的 EBS gp3 存储模型权重。
OpenClaw 通过清理无用测试、优化调度策略和自适应选择测试,使 CI 计算开销降低 95.5%,运行时间减少 86.5%。文中还分享了如何平衡测试覆盖与资源消耗的具体实践。
推荐理由:原文提供了可复用的工程方法,读者能据此优化智能体CI流程并降低运行开销。
近两周内,该网站 AI 爬虫请求量约为所有搜索引擎总和的 3 倍。日志显示超过三分之一的“Googlebot”及伪装成 Claude 等身份的流量为伪造,主要源于 5 台租用服务器。这些恶意请求尝试探测密码与密钥文件,但网站因设置 403 错误未发生数据泄露。
MobilSense CTO Lane Stevens作为唯一人类决策者,指导AI智能体完成旗舰产品MobilSentry从托管硬件向AWS的GitOps迁移。迁移仅造成6小时停机,远低于12小时计划窗口,数百个Postgres数据库顺利切换。该实践验证了由AI撰写代码、人类把控五道审批门的混合运维模式在关键基础设施迁移中的有效性。
secproc 原型将 RISC-V 处理器编译进 Qwen 3.5 LLM 权重,强制模型拒绝未通过 Ed25519 签名验证的提示词。该方案基于 Monocypher 库实现 RFC 8032 标准,处理一条真实签名需消耗约 630 万 tokens。在 NVIDIA GPU 上验证耗时约 2 分钟,而在 Apple M1 Pro 上预计需 3 小时。
发布包含AI数据许可交易追踪、美国商业数据稀缺指数等五项数据集。 数据以CSV和JSON格式提供,涵盖18起交易案例、13家供应商及34个NAICS行业,并附机器可读API。 采用CC BY 4.0协议,支持AI智能体通过/llms.txt索引引用带源数据,截至2026年11月16日更新。
半导体 ETF SOXX 过去二十年年化回报约 17.6%,显著领先互联网与软件指数。Nvidia 和 Broadcom 估值约为 FY2028 自由现金流的 12 倍,Microsoft 和 Amazon 则超 80 倍。 预测六家专有数据与工作流公司组合将在 2031 年 11 月前跑赢三大云厂商,半导体供应链仍是核心竞争者。
GitHub 宣布 VS Code 旧版 Local agent harness 将于 2027 年 2 月移除,由 Copilot harness 接替。 新方案仍在本机执行命令,属于 agent 运行时迁移而非云端传输,沙箱设置独立。 使用自定义指令或企业管理配置的开发者需在截止日期前检查设置。
Vidai 推出名为 Control room 的企业 AI 治理平台,通过单一配置变更实现成本、合规与数据治理。 平台在 Rust 中实现,单 CPU 核心处理量比 Python 方案高 94 倍,中位延迟仅 0.58ms。 支持 EU AI Act 等法规自动映射,并实时检测 77 种个人数据以保护隐私。