跳到正文
11月19日周四
  1. AWS Machine Learning Blog52

    Amazon SageMaker JumpStart 推出模型排行榜

    Amazon SageMaker JumpStart 推出模型排行榜(Leaderboard),在 SageMaker Studio 内统一对比 LLM 的质量、速度与成本。排行榜基于 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro 三项基准,覆盖 70 余款模型,支持使用用例画像与优化目标筛选,并可基于部署配置直接比较响应速度与成本。

  2. AWS Machine Learning Blog62

    Airbnb 如何在 Amazon Bedrock 上用量化成本运营编码智能体

    Airbnb 通过在 Amazon Bedrock 上评估模型得分与“每任务成本”来运营内部编码智能体,并在生产环境通过 CloudWatch 监控延迟、限流与开销。评估体系包含 7 个任务集、多维度评分器及推理强度档位控制;生产侧监控包括延迟、令牌消耗、吞吐量与缓存命中率。该流程使 Airbnb 能够在模型发布后数小时内完成评估并调整智能体配置,使重度用户的成本在切换模型后降至约原来的七分之一。

    推荐理由:结合 Airbnb 的一线实践,拆解编码智能体在 Amazon Bedrock 上的成本核算与监控方法,可直接复用到模型选型与容量规划。

  3. AWS Machine Learning Blog51

    Salesforce 如何使用 Amazon SageMaker AI 跨区推理路由实现全球模型服务

    Salesforce 利用 Amazon SageMaker AI 的跨区推理路由解决了全球 30+ 区域的模型容量碎片化问题,实现了在保障数据驻留的同时灵活扩展算力。该功能将容量感知与故障转移逻辑从应用层解耦,支持在 30 秒内完成区域间的流量切换,显著降低了维护成本。

  4. The Verge · AI27

    特朗普在菲律宾推动 AI 枢纽建设

    特朗普在菲律宾推动建设1620公顷AI枢纽,作为“Pax Silica”计划的一部分。该计划旨在建立芯片工厂和数据中心,以对冲中国在半导体制造和关键矿物加工领域的主导地位。 该枢纽预计为原住民带来土地被征用的风险,菲律宾官员称将在年底前签署框架协定,项目涉及与Nvidia、TSMC和Apple的合作意向。

  5. AWS Machine Learning Blog41

    Amazon Bedrock AgentCore Gateway 如何在中心防火墙架构中连接私有 API

    展示了一种让 Amazon Bedrock AgentCore Gateway 在中心网络架构中连接私有 API 的模式。 该模式使用 VPC Lattice 资源网关和 AWS RAM 共享配置,强制所有流量经过中心防火墙进行双向检查。 此设计使网络团队保留所有子网所有权,支持代理在符合企业安全策略的环境下调用 MCP 服务器。

  6. Hugging Face Blog45

    Hugging Face 研究表明,FLOP 估算预测微调时长误差极大(MAE 12.41 小时),而 CatBoost 回归器在 272 个生产任务中实现了 R² 0.98 的高精度,MAE 降至 1.71 小时。

    研究分析了 NVIDIA H200 GPU 集群上涵盖 LoRA 和全量微调的运行日志,发现仅基于计算的估算忽略了环境设置、数据检查点等非线性开销。 该预测方法利用调度前已知特征优化任务排队,减少 GPU 空闲时间,显著提升集群资源规划效率。

  7. Hacker News AI55

    Maritime 推出针对生产级 AI 智能体的托管云

    Maritime 宣布上线其针对生产级 AI 智能体的托管云平台,旨在解决纯沙箱方案无法覆盖的智能体全生命周期管理难题。该平台提供隔离且持久的微虚拟微虚拟机与可配置环境,集成预配置、持久化状态、触发器、健康监控与无停机更新等复合服务。通过自动快照、事件驱动与冷热分层等优化,Maritime 将 2GB 内存智能体的月均基础使用成本控制在 1 美元。

  8. Hacker News AI78

    Standard Kernel 优化使 Intel Gaudi2 推理性能超越 NVIDIA H100

    Standard Kernel 通过软件优化在 Qwen3.5-27B 模型长文本推理基准上,使 Intel Gaudi2 的解码吞吐量比 NVIDIA H100 提高 60%,预填充吞吐量提高 8%。在每 $0.60 的租用成本下,优化后的 Gaudi2 展现出 9.4 倍的每美元 token 产出效率。

    推荐理由:文章展示了通过软件优化让Intel Gaudi2推理性能超越NVIDIA H100的具体案例,揭示了优化推理栈对硬件性价比的巨大影响。

  9. Hugging Face Blog61

    Transformers 实现 MoE 专家流式加载,180B 模型仅需 32GB 内存

    Transformers 通过新增专家流式加载功能,成功在 32GB 内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。该方法利用有界缓存池让 grouped_mm 直接处理流式专家,短解码速度达到 13.9 tok/s,性能接近 Strata 引擎,证明纯 Python 结合 Metal 内核可大幅提升本地 MoE 推理效率。

    推荐理由:展示了如何用 Transformers 实现 MoE 专家流式加载,读者可借鉴有界缓存和 Metal 内核优化思路提升本地大模型推理效率。

11月18日周三
  1. Hacker News AI47

    macOS DarkWake 导致计划任务故障及修复方案

    macOS DarkWake 机制每小时唤醒 45 秒,导致 18 个计划任务因浏览器超时和连接过期而失败。通过添加显示状态检查的 guard script,阻止任务在屏幕关闭时运行,解决了基础故障。 后续排查发现 network-watch 任务每 10 秒重试导致数百次跳过记录,修复其重试逻辑(连接变更或每 5 分钟)后系统恢复。

  2. IT之家26

    美团 M-Drone 4L 无人机在迪拜完成海外首次亮相并将于近期投入使用

    美团第四代索降机型 M-Drone 4L 在迪拜完成海外首次亮相,该机型将落地 Sobha Hartland 等社区,索降航线将于近期正式投入使用。 机型通过自主选点、六轴力传感器和电控脱钩装置控制投放,已在零下 20 摄氏度至 50 摄氏度、大雨和沙尘条件下接受实测;美团无人机全球累计完成超 110 万笔订单。

  3. Seven Minute Feed62

    中国启动首个华为 Ascend 950DT AI 算力集群,面向海外提供算力出口服务

    中国启动了首个基于华为 Ascend 950DT 芯片的 AI 算力集群,面向海外客户提供“Token 出口”服务。该集群位于汕头,于上周开始运营,专门用于在海外销售推理算力。此动作正值美国切断中国在其他国家获取 Nvidia 算力的背景下发生,意在确立中国作为竞争性 AI 算力供应方的地位。

  4. IT之家36

    特斯拉发布 Powercore:集成变压器、逆变器和断路器,计划 2027 年投入使用

    特斯拉在 RE+ 展会上发布 Powercore 固态电气系统,将中压变压器、逆变器和断路器整合,计划 2027 年投入使用。 持续输出功率最高 7.4 MW(9 MVA),支持 800V-2000V 直流及 10kV-34.5kV 交流电压,固态断路器 100 微秒切断故障。 配套 Megapack 使用,支持构网型技术,正申请 NVIDIA DSX Ready 认证,最长提供 25 年质保。

  5. IT之家55

    全国首个昇腾 950DT 词元出海算力集群在汕头启用:华为、中国电信、天亿马三方合作

    全国首个基于华为昇腾 950DT 芯片的词元出海算力集群在广东汕头正式启用,由中国电信、天亿马和华为联合建设。该集群依托国际海缆登陆站,遵循「算力出海、数据不出境」原则,面向全球提供智能算力服务。据当地数据,汕头日均词元调用量已从 4 月的 1 亿增至 1000 亿,登记的海外 AI 算力需求超过每日 3 万亿词元。

  6. arXiv · ML30

    灵活负荷整形的“挑樱桃”策略:显著降低电网碳排放

    针对多兆瓦级灵活负荷整形,研究者提出一种可解释的“挑樱桃”策略,能在不增加批发电力成本的前提下,实现比静态LMP整形高2-3倍的年度电网CO2减排。 该方法基于对ERCOT电力市场近8900个节点的仿真数据,结合可观测的电网净需求与节点最低LMP阈值,动态选择当日最优整形信号。