跳到正文
11月18日周三
  1. arXiv · ML31

    Masked 扩散语言模型 MoE 解码隐藏成本:Profilng 与修复采样器

    26B 参数 MoE 扩散模型在带宽受限加速器上解码时,量化后 logits 采样流水线取代专家 GEMM 成为最大耗时来源。 该流水线处理 S 倍冗余 logit 条目,通过双层无损优化和 W4A16 专家内核,在 GSM8K、HumanEval、MATH 基准测试精度不变的情况下,实现 2.4-2.7 倍端到端加速。 该性能瓶颈特定于 MoE 扩散模型,代码和量化权重已开源。

  2. arXiv · AI37

    LLM编码智能体前缀缓存下的上下文增删成本研究

    基于20,000次SWE-bench Verified等测试,研究揭示前缀缓存下上下文管理对LLM编码智能体成本的影响。 添加检索代码使读取和搜索命令减少18%–34%,但在缓存输入价格为非缓存十分之一时成本反而增加33%–42%;移除旧观察结果在无缓存折扣时节省19%–36%,有折扣时成本反增38%–116%。 表明上下文管理评估需同时考虑token价格与智能体后续行为。

  3. arXiv · AI28

    推理语言模型剪枝中归因测量的脆弱性

    研究发现,基于归因的剪枝在推理语言模型中测量不可靠,评分最终答案 token 会导致模型困惑度上升或准确率下降 27.6 至 32.2 分。 因果重要性无法定位到单个神经元,需以约 100 个神经元的组为粒度进行归因,且“推理特异性”重要性与通用重要性不可分离。 建议剪枝时应以推理 token 为评分对象,并优先使用准确率而非困惑度评估模型性能。

  4. arXiv · AI40

    Xing 4:基于昇腾芯片与框架的前沿 Agentic 模型进展

    Xing 4 是 TeleChat 衍生系列,在昇腾芯片上实现了 285B 参数模型的前训练,使用 8,192 张昇腾 910C 卡。 前训练基于 MindSpore HyperParallel,结合拓扑感知混合分片与长序列工作负载管理。 引入 TeleGym 智能体执行平台,支持异步解耦执行与部分 rollout,为后续更大规模模型奠定昇腾训练基础。

  5. Hacker News AI33

    AI超算网络配置:一项高达4,096 GPU规模的Trace驱动性能研究

    一项针对AI超算互连性能的Trace驱动研究揭示了真实工作负载对延迟、带宽和抖动的敏感性。研究覆盖高达4,096个GPU的训练与推理负载,利用NCCL调度和LogGP模型估算运行时间下界。该方法结合特征分解与线性规划,识别出不同工作负载间的性能悬崖及带宽升级的边际收益。

  6. OpenClaw Releases40

    OpenClaw 2026.10.33 网关扩展稳定版发布

    OpenClaw 发布网关扩展稳定版 2026.10.33,集成自 2026.9.37 以来的累计改进及关键安全更新。 该版本基于 2026.11.4 产品基线,涵盖核心 npm 包、官方插件及 Gateway Docker 镜像,不包含原生应用。主要优化包括长对话内存管理、更新中断恢复、会话隐私强化及自动化 MCP 事件响应。

  7. AWS Machine Learning Blog71

    Amazon SageMaker HyperPod Inference 新增 NVIDIA Dynamo 托管推理能力

    Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,提供托管的多节点部署和分离式推理能力。在 Qwen3-235B-A22B-FP8 测试中,分离式架构吞吐量达到聚合架构的 2.05 倍。多节点聚合部署下,两节点配置保留单节点吞吐量的 99.1%。

    推荐理由:通过 Qwen3-235B 与 Qwen3.5 基准测试,展示了分离式 prefill/decode 架构能提升 2 倍吞吐量,为优化大规模 LLM 部署提供了工程参考。

  8. AWS Machine Learning Blog68

    SageMaker AI 实时端点新增 KV cache 感知路由

    Amazon SageMaker AI 实时端点新增 KV cache 感知路由(KV-aware routing),利用模型容器上报的缓存状态将请求路由到已有长缓存匹配的实例。测试显示该策略在多轮对话场景下可降低 97% 的 p50 首 token 延迟,并提升 234% 的吞吐量,需通过环境变量开启缓存事件上报并在端点配置中设置策略为 KV_AWARE。

    推荐理由:文章对比了两种路由策略在缓存命中率和延迟上的差异,并给出了在 SageMaker 中配置和验证的具体步骤,有助于评估该功能在自身推理服务中的收益。

  9. AWS Machine Learning Blog52

    降低生成式AI成本:规则用代码实现,判断类任务交给模型

    AWS 提出降低生成式 AI 成本的框架,建议先判断工作流步骤是否需要模型,再用确定性代码处理规则、用受限决策调用处理固定选项、仅在开放式任务中调用 Amazon Bedrock 模型。文章给出了决策流程图和基于 AWS Step Functions、AWS Lambda 与 Bedrock 结构化输出的实现示例,强调通过缩小模型规格和避免不必要的模型调用来控制成本与延迟。

  10. AWS Machine Learning Blog36

    AWS FDE 全球扩展至 15 国,助力 AI 落地生产

    AWS Forward Deployed Engineering 已在包括美国、巴西、日本在内的 15 个国家面向商业及公共部门客户提供服务,并内置数十个生产级加速器。该服务聚焦 AI 从演示到生产的“最后一公里”,通过构建基础、自动化工作流及治理架构解决落地难题。例如 Marsh 通过该服务实现目标领域效率提升最高 70%,部分流程从小时级缩短至秒级。

  11. Hacker News AI62

    Agent Skill 的分发与 OCI 打包实践

    Agent Skills 是复用 AI 工作流的可移植包,当前分发依赖 GitHub、skills.sh、ClawHub 等渠道,且不同客户端的安装路径与行为存在差异。作者介绍了用 OCI 镜像打包、签名和校验 Skill 的完整发布流程,并给出了规范兼容、安全性、打包与多 Registry 重试等检查清单。

  12. Hacker News AI40

    为什么在 Kubernetes 上运行 AI 编码智能体

    在 Kubernetes 集群上运行 AI 编码智能体,可实现统一的安全、可复现性与规模化调度,优于本地笔记本执行模式。 每个任务运行于独立 Pod,结合 RBAC、NetworkPolicies 及 gVisor 等沙箱运行时;Agent Sandbox 项目进一步提供 Sandbox API 与预热池以加速启动。

  13. IT之家24

    寒武纪完成商汤 SenseNova Loop-9B Day 0 适配

    寒武纪完成商汤 SenseNova Loop-9B 的 Day 0 适配,打通 MLU 平台推理链路。 该模型采用约 9B 参数,通过 56 次层计算扩展深度,4bit 量化后权重约 4.9GB,部署显存需求低至 10GB 内。 寒武纪基于 vllm_mlu 实现适配,复用 Qwen3-Next 算子,优化 mHC 路由性能,降低 Kernel Launch 开销。

11月17日周二
  1. Hacker News AI50

    网站日志分析显示 AI 爬虫流量远超搜索引擎,且逾 1/3 的 Googlebot 请求系伪造

    近两周内,该网站 AI 爬虫请求量约为所有搜索引擎总和的 3 倍。日志显示超过三分之一的“Googlebot”及伪装成 Claude 等身份的流量为伪造,主要源于 5 台租用服务器。这些恶意请求尝试探测密码与密钥文件,但网站因设置 403 错误未发生数据泄露。

  2. Hacker News AI30

    单人开发者执导AI智能体将MobilSentry迁移至AWS

    MobilSense CTO Lane Stevens作为唯一人类决策者,指导AI智能体完成旗舰产品MobilSentry从托管硬件向AWS的GitOps迁移。迁移仅造成6小时停机,远低于12小时计划窗口,数百个Postgres数据库顺利切换。该实践验证了由AI撰写代码、人类把控五道审批门的混合运维模式在关键基础设施迁移中的有效性。

  3. Hacker News AI26

    AI数据许可数据集开源发布

    发布包含AI数据许可交易追踪、美国商业数据稀缺指数等五项数据集。 数据以CSV和JSON格式提供,涵盖18起交易案例、13家供应商及34个NAICS行业,并附机器可读API。 采用CC BY 4.0协议,支持AI智能体通过/llms.txt索引引用带源数据,截至2026年11月16日更新。

  4. Hacker News AI47

    Vidai 发布企业级 AI 治理基础设施

    Vidai 推出名为 Control room 的企业 AI 治理平台,通过单一配置变更实现成本、合规与数据治理。 平台在 Rust 中实现,单 CPU 核心处理量比 Python 方案高 94 倍,中位延迟仅 0.58ms。 支持 EU AI Act 等法规自动映射,并实时检测 77 种个人数据以保护隐私。