FastAPI-stream-lease 限制 FastAPI/Starlette 中的 SSE/LLM/WS 并发流
FastAPI-stream-lease 通过 Redis 为 FastAPI/Starlette 应用提供分布式并发流租约,同时限制 SSE、LLM token 流和 WebSocket 会话的活跃数量。
FastAPI-stream-lease 通过 Redis 为 FastAPI/Starlette 应用提供分布式并发流租约,同时限制 SSE、LLM token 流和 WebSocket 会话的活跃数量。
Tailscale 宣布投入数百万美元发展主权 AI,并任命 Patricia Prewitt 为总经理以推动开放基础设施。 该任命旨在通过互操作性解决数据控制难题,避免对单一供应商的依赖。Tailscale 不会自建模型或数据中心,仅通过整合现有生态组件来支持用户自主权。
英伟达确认 DLSS 5 3D 引导神经渲染新模型将于 10 月 16 日推送,性能达 9 月版本的 2 倍,GPU 开销降低约 50%。 新模型体积缩减 24% 至约 1.18 亿参数,4K 显存占用降低 20%。NBA 2K27 帧率从 65 FPS 提升至 90 FPS 以上,更新覆盖 RTX 50 系列、RTX Spark 及 GeForce NOW。
Jev 决策模型在 168 个测试问题中,将正确页面排第一位的比例达到 88%,错误传递页面概率仅 3%,显著优于生产环境中基于 text-embedding-3-large 的向量检索。
机器人智能未必集中于头部,计算任务在机载边缘与远程云端间分配,以平衡反应速度与算力需求。机载处理降低延迟,但受限于空间、电池及散热;强大远程算力有时能更快解决复杂问题。Dreamscale Labs 认为未来机器人将更依赖云端,Microsoft 实验显示将 AI 移至远程可将 Stretch-3 机器人电池续航提升 100% 以上。
阿里旗下千问办公正在开发面向多平台商家的电商版本,预计将于双十一预售前夕发布。该版本由近百人团队开发,并非独立App,而是嵌入千问办公通用版本中的一个拥有独立界面和行业产品逻辑的Agent,目前提供经营分析、商品管理等功能,尚不能直接替商家调整投流计划。
爱芯元智在 2026 中国国际工业博览会上发布 AX8860 系列边缘大算力 AI 芯片,定位为面向大模型端侧部署。
MDMA 是一个开源联邦式 LLM 推理引擎,旨在利用用户已有的桌面、笔记本和服务器等异构硬件私有化部署语言模型。该系统支持 CPU、ROCm、Vulkan、Level Zero、CUDA 和 Metal 六种后端,通过 gRPC 和强制 mTLS 实现节点间通信。
文章探讨了如何根据 MacBook 的 RAM 大小来选择最合适的本地 LLM 基础模型。 由于原文未提供具体的 RAM 数值、模型名称或性能指标等关键数据,仅包含标题主旨。
YC 初创公司 Agent37 推出沙箱服务,支持运行 Hermes、OpenClaw 和 Claude Code,平均成本仅为 $0.37/月,并提供免费计划。 该服务通过管理突发 CPU 和 RAM 使用、租用 Hetzner 和 OVH 资源以及使用 gVisor 共享资源,将成本控制在典型服务商的 10% 以下。
中国移动将呼和浩特(内蒙古)的最大智能计算中心算力扩展至20,100 Petaflops。此次扩容是北京推动建设国内算力以支持中国AI目标的一部分。来源:Tech - South China Morning Post · 7min.ai digest: https://7min.ai/d/2026-10-13/china-mobile-triples-inner/
Cisco 宣布与 Nvidia 合作,共同开发专为 AI 数据中心数据量设计的新一代光学网络。Cisco 总裁指出,AI 智能体(AI agents)在执行相同任务时可能比人类消耗多得多的带宽。该网络通过提供更快、更节能的链路,旨在支持数十万块 GPU 协同工作,从而降低 AI 成本。
Anthropic 正寻求投资澳大利亚数据中心,以在全球范围内扩展算力。此举将丰富其国际基础设施布局。该投资发生在其计划中的 IPO 之前。
华硕在 2026 OCP 全球峰会上发布基于 NVIDIA MGX 架构的 2U 服务器 XA P2N-E2。 该服务器配备 Vera CPU 及最多 2 块 RTX PRO 6000 Blackwell 服务器版 GPU,专为代理式 AI 与强化学习工作负载打造,支持代码执行、工具调用及沙盒运算任务。
QwenGyre 是一个面向超长程智能体任务的在线强化学习框架。在 Qwen3.8-2.4T 模型上,经过 48 步训练,NL2RepoBench 通过率从 52.48% 提升至 58.54%;在相同 GPU 预算下,相比 Async 实现 1.78 倍端到端加速,节省约 44% 训练时间。
微软为 Excel 推出 Copilot 交互式画布,用户可用自然语言将工作簿数据生成动态、自动更新的报告,数据变化时无需手动调整。该功能目前面向 Microsoft 365 Insiders 开放。微软同时宣布 Skill Builder 与 Skill Recorder,前者可通过对话或示例生成可重用技能,后者可记录用户操作生成可重复执行的技能。
Bifrost 是 Maxim 开源的高性能 AI 网关,提供统一 OpenAI 兼容 API 接入 23+ 模型供应商。在 5000 RPS 基准下附加延迟仅为 11µs,支持 MCP 网关、语义缓存和自动故障转移。
PostHog 团队总结了构建 AI 产品的核心经验,指出应优先构建像 MCP 服务器这样的 AI 原生基础设施,而非单纯的 AI 助手。数据显示,使用 AI 安装向导的用户转化率提高了 5 倍,激活速度加快 2 倍,但该向导每次运行成本约为 6.67 美元。
Intel 在 OCP 峰会发布代号 Crescent Island 的 GPU D-series 及新 Xeon 机架设计,旨在提升 Agentic AI 基础设施的灵活性与效率。
彭博行业研究发布简报指出,在美国得克萨斯州阿比林市建设一座 1GW 数据中心的总开销可达 307 亿美元。 核心硬件(芯片和服务器)占据 171 亿美元,电力供应基础设施消耗 30 亿美元,冷却系统费用为 16.6 亿美元。 该成本预估综合了 Cushman & Wakefield 的数据及彭博内部分析。
半导体互连企业 Astera Labs 发布基于开放标准的模块化机架参考设计 Orion。 该平台包含六大生产级架构,支持多样化 CPU 和 AI 推理加速器。核心采用 320 通道 PCIe Switch,每个 pod 最多支持 160 块加速器。 预计 2027 年 Q1 通过 OEM 和 ODM 合作伙伴提供。
微软发布第三代自研 AI 芯片 Maia 300,计划于明年部署超百万颗以支撑内部 AI 业务。该芯片采用台积电 2 纳米和 3 纳米 chiplet 架构,单机柜内置 96 颗芯片,微软称其每兆瓦有效计算量比主流 GPU 系统高出约 40%。
推荐理由:材料拆解了 Maia 300 采用 2 纳米与 3 纳米 chiplet 架构的工程选择,展示了多芯粒封装在功耗与算力间的权衡路径。
英伟达在开放计算项目(OCP)全球峰会上宣布,开放 Vera Rubin 机架与计算托架设计,并与 Cisco、Google、Meta、Microsoft、Visionbay 等发布多项 AI 基础设施开放标准。
哈佛大学 CS2680 课程涵盖 AI 智能体设计与底层系统优化,采用 Claude Code 等工具实践。 课程含五个递进作业,从构建 Agent loop 到部署服务,涉及 KV-cache 复用与推测解码等技术。 学生需承担大量课外实验,课程由 Advaith Ravishankar 等教师负责。
Intel D270 GPU 为面向智能体 AI 的推理优化数据中心产品,单卡配备最高 480 GB LPDDR5X 内存,350W 风冷功耗,支持 PCIe 5.0 标准接口。
Ramet 是一款面向 AI 智能体的持久化、可分叉工作区工具,支持跨会话保存与恢复智能体工作状态。 该产品为每个会话或尝试提供基于共享不可变基础的隔离可写工作区,允许用户分叉独立尝试、重置至初始点并保留选定结果。 Ramet 采用 Apache-2.0 许可,目前处于开发 Alpha 阶段,支持 Linux 和 macOS 系统。
智能手机、电脑及游戏主机价格上涨,原因是 AI 数据中心导致内存芯片严重短缺。2025 年末,16GB RAM 芯片价格从 4.76 美元飙升至 60 美元左右,三星等厂商已上调售价。
AWS Bedrock 支持通过全球跨 Region 推理 profile 在泰国、马来西亚、新加坡、印度尼西亚和台湾调用 OpenAI GPT-6 Sol、Luna 和 Astra。
推荐理由:教程明确了跨 Region 推理在计费、IAM 与 SCP 层面的落地要点,便于读者评估企业网络下的接入成本与合规配置。
NVIDIA 与 Cisco 联合发布新一代高密度可插拔光模块 USFP,支持 400Gb/s-per-lane 电信号,总带宽达 12.8Tb/s。 USFP 采用 OSFP 尺寸,带宽密度为 200Gb/s-per-lane 模块的 4 倍,功耗效率提升 1.3 倍,支持最高 100W 耗散无需独立冷却。
Reflex 是一款原生支持 GGUF 的 Rust/CUDA 引擎,旨在实现 LLM 的零规模(scale-to-zero)路由。 其核心特性在于基于 Rust 和 CUDA 架构,直接处理 GGUF 格式模型。
利用 llama.cpp DLC 在 Amazon SageMaker AI 上部署支持量化模型的决策推理服务。 通过 SemIf 适配器直接返回选项概率,JevBench 基准测试显示 GPU 端点较 CPU 快 4.9 倍(p50)。 该方案允许应用定义合法选项列表,无需解析生成的非结构化文本即可执行政策检查。
对于寻求个人助手的创始人,作者建议首选 Nous Research 开发的 Hermes Agent,因其比 OpenClaw 更易维护且成本更低。 Hermes 基于 Python 运行,月费约 5 美元;OpenClaw 依赖 TypeScript 网关,月费约 7.50 美元。
Microsoft 计划 2027 年开始在 Azure 部署多吉瓦规模的 Maia AI 芯片,使其成为公司在多个产品中的主要推理系统。Maia 200 已在美国、欧洲和澳大利亚运行 Microsoft Copilot,GitHub Copilot 和 Foundry 将在年内跟进;CEO Satya Nadella 称这是其在自研芯片上的最大押注。
NVIDIA在OCP全球峰会上宣布将Vera Rubin机架与计算托盘设计通过开源NVIDIA MGX架构贡献给OCP,为AI工厂基础设施提供统一开放基础。NVIDIA与AMD、Google、Meta共同发布了开放数据中心规范v0.7和OCP电网韧性规范,定义了下一代AI工厂的设施设计蓝图及电网扰动下的恢复标准。
Beeuni 被提出作为面向 AI 智能体(Agents)的 AI 原生计算平台。 该项目在 Hacker News 上发布,旨在为 Agent 提供专用的底层计算支持。
作者发布了应用 AI 工程技术图谱,展示了该领域各技术与方法的演化路径。该项目由 Claude Opus 起草初始框架与区域划分,各区域随后通过 Gemini Deep Research 填充细节,最后再由 Claude Opus 进行合并与丰富。项目已开源至 GitHub,支持社区贡献或查阅代码。
开发者 beasaltfish 开源了 bot-reborn 项目,通过 Android 手机、FT232H 芯片和静态 Web 页面,将廉价玩具车改造为可语音交互的 AI 机器人。系统通过 WebUSB 直接控制玩具车的电机,语音识别与对话依赖 OpenAI 兼容 API,且无需唤醒词即可实时响应指令或执行吠叫等固定动作。
Microsoft 发布第三代 Maia 300 自研 AI 芯片,计划 2027 年投入生产,并作为 Microsoft 产品和服务的主要 AI 推理系统。官方称 Maia 300 每兆瓦产生的 token 数比领先的 GPU 系统多 40%,在满配 96 个加速器的机架规模下,token 吞吐量最高可达 Maia 200 的 7 倍。
在 AI 编码智能体普及背景下,领域驱动设计(DDD)中关于理解并建模业务领域复杂性的核心观点比 2003 年提出时更具现实意义。 AI 工具降低了实现细节的门槛,使工程师能聚焦于领域建模与团队协作,但 AI 生成的文本无法替代团队通过“知识打磨”共同理解业务逻辑的过程。
ZizkaDB 提供回放、血缘追踪和漂移告警功能,帮助团队在用户察觉前修复 AI 智能体行为偏差。 支持 Python、TypeScript SDK 及 LangChain、CrewAI、MCP 等集成,采用 AGPL 开源协议,可自托管或选用托管云服务。 相比 Laminar、LangSmith 等竞品,ZizkaDB 具备因果血缘和时间旅行特性,评分达 5/5。