Replica 发布 macOS AI Agent 秒级工作区工具
Replica 基于 macOS APFS copy-on-write 为 AI Agent 创建 100ms 级隔离项目工作区,每个工作区均为可 push 的 git checkout 并带磁盘上限。
Replica 基于 macOS APFS copy-on-write 为 AI Agent 创建 100ms 级隔离项目工作区,每个工作区均为可 push 的 git checkout 并带磁盘上限。
Amazon SageMaker JumpStart 推出模型排行榜(Leaderboard),在 SageMaker Studio 内统一对比 LLM 的质量、速度与成本。排行榜基于 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro 三项基准,覆盖 70 余款模型,支持使用用例画像与优化目标筛选,并可基于部署配置直接比较响应速度与成本。
Amazon SageMaker HyperPod 推出三项新能力,旨在更早捕获硬件正常但训练失败的问题以提升有效吞吐量。 新增功能包括 MultiNodeTrainingValidation 验证 GPU 计算正确性、Kubernetes 资源监控 Agent 追踪集群组件故障,以及 Slurm 集群的挂起作业检测机制。
OpenAI 联合 AMD 与 Synopsys 展示了 GPT-6.2 Astra 在芯片设计与优化任务上的最新应用成果,其模型在 AMD 旗舰 GPU IP 设计上实现了最高 14% 的 PPA 提升,并应用于 OpenAI 首款自研推理芯片 Jalapeño 的硅前验证中。
AWS 官方在 Amazon Aurora PostgreSQL 中展示了一套 RAG 客服机器人设计模式,专注于实现 AI 可解释性。方案利用 pgvector 进行向量检索,通过 Aurora ML 直接在 SQL 层生成向量嵌入,并使用 Amazon Bedrock Guardrails 验证回答的接地能力。
Airbnb 通过在 Amazon Bedrock 上评估模型得分与“每任务成本”来运营内部编码智能体,并在生产环境通过 CloudWatch 监控延迟、限流与开销。评估体系包含 7 个任务集、多维度评分器及推理强度档位控制;生产侧监控包括延迟、令牌消耗、吞吐量与缓存命中率。该流程使 Airbnb 能够在模型发布后数小时内完成评估并调整智能体配置,使重度用户的成本在切换模型后降至约原来的七分之一。
推荐理由:结合 Airbnb 的一线实践,拆解编码智能体在 Amazon Bedrock 上的成本核算与监控方法,可直接复用到模型选型与容量规划。
Salesforce 利用 Amazon SageMaker AI 的跨区推理路由解决了全球 30+ 区域的模型容量碎片化问题,实现了在保障数据驻留的同时灵活扩展算力。该功能将容量感知与故障转移逻辑从应用层解耦,支持在 30 秒内完成区域间的流量切换,显著降低了维护成本。
特朗普在菲律宾推动建设1620公顷AI枢纽,作为“Pax Silica”计划的一部分。该计划旨在建立芯片工厂和数据中心,以对冲中国在半导体制造和关键矿物加工领域的主导地位。 该枢纽预计为原住民带来土地被征用的风险,菲律宾官员称将在年底前签署框架协定,项目涉及与Nvidia、TSMC和Apple的合作意向。
Stretto 基于 Amazon Nova 2 Sonic 语音智能体 Tara 处理破产咨询,将单次通话成本降低 95%。 该语音模型原生处理低延迟音频,优化中断机制,结合 Anthropic Claude 3 Haiku 实现结构化数据提取。
展示了一种让 Amazon Bedrock AgentCore Gateway 在中心网络架构中连接私有 API 的模式。 该模式使用 VPC Lattice 资源网关和 AWS RAM 共享配置,强制所有流量经过中心防火墙进行双向检查。 此设计使网络团队保留所有子网所有权,支持代理在符合企业安全策略的环境下调用 MCP 服务器。
研究分析了 NVIDIA H200 GPU 集群上涵盖 LoRA 和全量微调的运行日志,发现仅基于计算的估算忽略了环境设置、数据检查点等非线性开销。 该预测方法利用调度前已知特征优化任务排队,减少 GPU 空闲时间,显著提升集群资源规划效率。
Maritime 宣布上线其针对生产级 AI 智能体的托管云平台,旨在解决纯沙箱方案无法覆盖的智能体全生命周期管理难题。该平台提供隔离且持久的微虚拟微虚拟机与可配置环境,集成预配置、持久化状态、触发器、健康监控与无停机更新等复合服务。通过自动快照、事件驱动与冷热分层等优化,Maritime 将 2GB 内存智能体的月均基础使用成本控制在 1 美元。
Standard Kernel 通过软件优化在 Qwen3.5-27B 模型长文本推理基准上,使 Intel Gaudi2 的解码吞吐量比 NVIDIA H100 提高 60%,预填充吞吐量提高 8%。在每 $0.60 的租用成本下,优化后的 Gaudi2 展现出 9.4 倍的每美元 token 产出效率。
推荐理由:文章展示了通过软件优化让Intel Gaudi2推理性能超越NVIDIA H100的具体案例,揭示了优化推理栈对硬件性价比的巨大影响。
Transformers 通过新增专家流式加载功能,成功在 32GB 内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。该方法利用有界缓存池让 grouped_mm 直接处理流式专家,短解码速度达到 13.9 tok/s,性能接近 Strata 引擎,证明纯 Python 结合 Metal 内核可大幅提升本地 MoE 推理效率。
推荐理由:展示了如何用 Transformers 实现 MoE 专家流式加载,读者可借鉴有界缓存和 Metal 内核优化思路提升本地大模型推理效率。
summary_zh: Chief AI Officer Game 是一款免费浏览器游戏,玩家需决策 AI 系统部署以获取风险调整后的年度收益。 游戏基于 Modulos 平台的风险量化计算,包含 5 个关卡和超过 1,000 个案例池,前两级向所有人开放,后续级别需工作邮箱解锁。
IBM 时序基础模型现已在 Confluent 平台原生可用,支持云端及本地部署,基于 CPU 运行无需 GPU。 该模型家族累计下载量超 5000 万次,可结合 Apache Flink 通过 SQL 对实时流数据进行预测、异常检测和优化,适用于制造、零售及银行业。
macOS DarkWake 机制每小时唤醒 45 秒,导致 18 个计划任务因浏览器超时和连接过期而失败。通过添加显示状态检查的 guard script,阻止任务在屏幕关闭时运行,解决了基础故障。 后续排查发现 network-watch 任务每 10 秒重试导致数百次跳过记录,修复其重试逻辑(连接变更或每 5 分钟)后系统恢复。
RockDesk 是一款集成了远程桌面、终端、文件同步、端口转发和 VPN 的 P2P 工具,专为 AI 代理设计。通过安装 RockDesk Skill,Claude Code、Codex 或 Cursor 等代理可以运行 rds 命令行指令,在远程机器上执行命令、截取屏幕并控制输入,权限由目标机器设定。
哈佛研究估算美国最大400个数据中心年度耗电68至99 TWh,中央情景约82 TWh,其中54%电力来自天然气和煤炭,每年排放约2570万吨 CO2。
美国科技领域发生的服务中断被归因于工程师急于修复 AI 发现的代码缺陷。 这种“修复冲刺”导致的操作压力是此次事故的主要原因,而非 AI 模型本身直接生成故障代码。
Langfuse 团队发布了 AI Gateway,采用 Rust 构建以解决 AI 代理工作负载中 Node.js 单线程阻塞和 Python GIL 导致的性能瓶颈。
推荐理由:揭示了 AI 网关在 Rust、Node.js 和 Python 中的内存与延迟表现,并解释了保留原生 API 对 Agent 稳定性的意义。
美团第四代索降机型 M-Drone 4L 在迪拜完成海外首次亮相,该机型将落地 Sobha Hartland 等社区,索降航线将于近期正式投入使用。 机型通过自主选点、六轴力传感器和电控脱钩装置控制投放,已在零下 20 摄氏度至 50 摄氏度、大雨和沙尘条件下接受实测;美团无人机全球累计完成超 110 万笔订单。
一款名为 super-computer-agent 的 Windows MCP 服务器将 LLM 屏幕观察成本降至每步约 138 tokens。 该工具包提供 28 个仅读观察工具,包含 Fovea 差分编码技术,无需注入输入,支持 Claude Desktop 等 MCP 客户端集成。
summary_zh: Cassava Technologies 寻求融资高达 10 亿美元,用于购买 Nvidia 芯片以支撑其在非洲的 AI 数据中心。 此次融资被视为非洲大陆针对 AI 算力容量的最大规模投资之一。
中国启动了首个基于华为 Ascend 950DT 芯片的 AI 算力集群,面向海外客户提供“Token 出口”服务。该集群位于汕头,于上周开始运营,专门用于在海外销售推理算力。此动作正值美国切断中国在其他国家获取 Nvidia 算力的背景下发生,意在确立中国作为竞争性 AI 算力供应方的地位。
Open WebUI 团队发布 Open Terminal,为 AI 智能体提供可操作的文件、终端、Git、浏览器和桌面环境,支持在本地或服务器侧运行命令和修复错误。安装方式为 `pip install open-terminal && open-terminal run` 或单个 Docker 命令,并可通过 Tether 应用连接远端电脑。
特斯拉在 RE+ 展会上发布 Powercore 固态电气系统,将中压变压器、逆变器和断路器整合,计划 2027 年投入使用。 持续输出功率最高 7.4 MW(9 MVA),支持 800V-2000V 直流及 10kV-34.5kV 交流电压,固态断路器 100 微秒切断故障。 配套 Megapack 使用,支持构网型技术,正申请 NVIDIA DSX Ready 认证,最长提供 25 年质保。
全国首个基于华为昇腾 950DT 芯片的词元出海算力集群在广东汕头正式启用,由中国电信、天亿马和华为联合建设。该集群依托国际海缆登陆站,遵循「算力出海、数据不出境」原则,面向全球提供智能算力服务。据当地数据,汕头日均词元调用量已从 4 月的 1 亿增至 1000 亿,登记的海外 AI 算力需求超过每日 3 万亿词元。
文章介绍了一种用于本地 LLM 服务器速度优化的 Agent 技能。 该技能通过 hill-climbing 算法自动调整参数以提升推理速度。 原文未提供具体的性能提升数据、参数规模或适用模型版本等细节。
微软宣布将 Windows 11 的 Copilot 升级为可读取系统信息的 AI 诊断助手,用户可用自然语言询问蓝牙无声等故障,Copilot 会检查音频输出和连接状态并给出操作路径。除诊断外,微软还在测试 PC Insights,支持查询显卡、存储空间、电池健康和 CPU 占用等本机信息。
针对多兆瓦级灵活负荷整形,研究者提出一种可解释的“挑樱桃”策略,能在不增加批发电力成本的前提下,实现比静态LMP整形高2-3倍的年度电网CO2减排。 该方法基于对ERCOT电力市场近8900个节点的仿真数据,结合可观测的电网净需求与节点最低LMP阈值,动态选择当日最优整形信号。
JigSLO 提出一种感知带宽争用的多 LLM 服务系统,平均将 SLO 达标率提升 2.3 倍,吞吐量提升 1.2 倍。 系统通过联合优化张量并行、计算份额与批次配置,在长上下文工作负载中仅需一半 GPU 即可匹配基线的最佳达标率。
基于 OpenROAD 的 MLBuf-RePlAce 框架在开源流程中实现 TNS 最大 56%、平均 31% 的改进。 该框架采用递归学习预测 buffer 类型与位置,并解决了传统方法的计算开销及 ERC 违规问题。 在商用流程中,其 TNS 平均提升 28%,且后路由功耗保持无显著退化。
LoopZip 提出了一种无训练视觉 Token 压缩算法,解决循环视觉语言模型中长序列计算和内存开销问题。 在 LoopVL-1B 上,该算法在 50% 修剪比下保留 97.16% 的原始性能,在 87.5% 修剪比下超越最强基线 5.36%。
研究人员提出首个针对 scale-up memory 的稀疏注意力 offloading 系统 XM-Sparse。该系统在 SGLang 框架上实现,利用 TMA 检索与 SM 高效 DMA 预取解决 HBM 容量限制。 在 DeepSeek-V3.2 和 GLM-5.3 模型上,XM-Sparse 解码吞吐量比 PCIe 基线提升最高 4.98 倍,比同平台原生集成提升 1.34 倍。
HyCoInfer 提出云边协同推理架构,将 prefill 分配至云端 GPU,解码分布于 GPU 与边缘 FPGA。在 500 Mbps 链路下,其请求 goodput 达 vLLM 的 4.11 倍,平均延迟降低 61.1%。该系统通过异构卸载与带宽自适应 KV 压缩,显著提升通信密集型任务的推理服务容量并降低能耗。
研究 Qwen3-8B 在 NVIDIA B200 上的混合精度量化,发现特定配置通过 FINAL-81 测试集全部门槛。 该配置包含 16-bit 激活、98 个 NVFP4 权重模块及 46 个 INT8 模块,权重内存占用 5.917 GiB。 相比 NVFP4 W4A4,配对准确率提升 1.4 个百分点,TPOT 比为 0.939,验证了非加法性模块恢复效应。
CPTC提出低比特量化格式,在4位时与理想值差距仅0.07比特,匹配数千倍大表的随机置换网格码。 解码器通过两次乘法索引64字节表,支持1至6位宽,精确复现INT4/FP4。在Llama 3.1 8B/70B权重量化中,KL散度比QTIP低最高27%,已集成于AWS Trainium 4。
Gemma 4 31B 模型通过单次存储 640 值行替代完整的 key/value 缓存,在 vLLM 原型中使稳态解码 KV 内存降低 1.34 至 1.40 倍。
针对循环扩散 Transformer,LoopPrune 提出结合重要性估计与权重补偿的剪枝恢复框架。 在 30% 结构化参数剪枝下,Looped-DiT B/16 保留 93.14% 的平均准确率,较最优基线提升 9.49%。SDXSv3 在推理后端中减少 34.36%-44.64% GPU 显存占用,加速 1.46-1.74 倍。