跳到正文
11月18日周三
  1. arXiv · ML31

    Masked 扩散语言模型 MoE 解码隐藏成本:Profilng 与修复采样器

    26B 参数 MoE 扩散模型在带宽受限加速器上解码时,量化后 logits 采样流水线取代专家 GEMM 成为最大耗时来源。 该流水线处理 S 倍冗余 logit 条目,通过双层无损优化和 W4A16 专家内核,在 GSM8K、HumanEval、MATH 基准测试精度不变的情况下,实现 2.4-2.7 倍端到端加速。 该性能瓶颈特定于 MoE 扩散模型,代码和量化权重已开源。

  2. arXiv · AI37

    LLM编码智能体前缀缓存下的上下文增删成本研究

    基于20,000次SWE-bench Verified等测试,研究揭示前缀缓存下上下文管理对LLM编码智能体成本的影响。 添加检索代码使读取和搜索命令减少18%–34%,但在缓存输入价格为非缓存十分之一时成本反而增加33%–42%;移除旧观察结果在无缓存折扣时节省19%–36%,有折扣时成本反增38%–116%。 表明上下文管理评估需同时考虑token价格与智能体后续行为。

  3. arXiv · AI28

    推理语言模型剪枝中归因测量的脆弱性

    研究发现,基于归因的剪枝在推理语言模型中测量不可靠,评分最终答案 token 会导致模型困惑度上升或准确率下降 27.6 至 32.2 分。 因果重要性无法定位到单个神经元,需以约 100 个神经元的组为粒度进行归因,且“推理特异性”重要性与通用重要性不可分离。 建议剪枝时应以推理 token 为评分对象,并优先使用准确率而非困惑度评估模型性能。

  4. arXiv · AI40

    Xing 4:基于昇腾芯片与框架的前沿 Agentic 模型进展

    Xing 4 是 TeleChat 衍生系列,在昇腾芯片上实现了 285B 参数模型的前训练,使用 8,192 张昇腾 910C 卡。 前训练基于 MindSpore HyperParallel,结合拓扑感知混合分片与长序列工作负载管理。 引入 TeleGym 智能体执行平台,支持异步解耦执行与部分 rollout,为后续更大规模模型奠定昇腾训练基础。

  5. OpenClaw Releases40

    OpenClaw 2026.10.33 网关扩展稳定版发布

    OpenClaw 发布网关扩展稳定版 2026.10.33,集成自 2026.9.37 以来的累计改进及关键安全更新。 该版本基于 2026.11.4 产品基线,涵盖核心 npm 包、官方插件及 Gateway Docker 镜像,不包含原生应用。主要优化包括长对话内存管理、更新中断恢复、会话隐私强化及自动化 MCP 事件响应。

  6. AWS Machine Learning Blog71

    Amazon SageMaker HyperPod Inference 新增 NVIDIA Dynamo 托管推理能力

    Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,提供托管的多节点部署和分离式推理能力。在 Qwen3-235B-A22B-FP8 测试中,分离式架构吞吐量达到聚合架构的 2.05 倍。多节点聚合部署下,两节点配置保留单节点吞吐量的 99.1%。

    推荐理由:通过 Qwen3-235B 与 Qwen3.5 基准测试,展示了分离式 prefill/decode 架构能提升 2 倍吞吐量,为优化大规模 LLM 部署提供了工程参考。

  7. AWS Machine Learning Blog68

    SageMaker AI 实时端点新增 KV cache 感知路由

    Amazon SageMaker AI 实时端点新增 KV cache 感知路由(KV-aware routing),利用模型容器上报的缓存状态将请求路由到已有长缓存匹配的实例。测试显示该策略在多轮对话场景下可降低 97% 的 p50 首 token 延迟,并提升 234% 的吞吐量,需通过环境变量开启缓存事件上报并在端点配置中设置策略为 KV_AWARE。

    推荐理由:文章对比了两种路由策略在缓存命中率和延迟上的差异,并给出了在 SageMaker 中配置和验证的具体步骤,有助于评估该功能在自身推理服务中的收益。

  8. AWS Machine Learning Blog52

    降低生成式AI成本:规则用代码实现,判断类任务交给模型

    AWS 提出降低生成式 AI 成本的框架,建议先判断工作流步骤是否需要模型,再用确定性代码处理规则、用受限决策调用处理固定选项、仅在开放式任务中调用 Amazon Bedrock 模型。文章给出了决策流程图和基于 AWS Step Functions、AWS Lambda 与 Bedrock 结构化输出的实现示例,强调通过缩小模型规格和避免不必要的模型调用来控制成本与延迟。

  9. AWS Machine Learning Blog36

    AWS FDE 全球扩展至 15 国,助力 AI 落地生产

    AWS Forward Deployed Engineering 已在包括美国、巴西、日本在内的 15 个国家面向商业及公共部门客户提供服务,并内置数十个生产级加速器。该服务聚焦 AI 从演示到生产的“最后一公里”,通过构建基础、自动化工作流及治理架构解决落地难题。例如 Marsh 通过该服务实现目标领域效率提升最高 70%,部分流程从小时级缩短至秒级。

11月17日周二
  1. arXiv · AI32

    SplitZip:用于 LLM 分离式推理的超快速无损 KV 缓存压缩方案

    SplitZip 是一种针对 LLM 分离式推理中 KV 缓存传输瓶颈设计的 GPU 友好型无损压缩器,可在不修改模型执行逻辑的前提下实现位级保真传输。 其利用 KV 激活值中浮点数指数的冗余性,采用校准过的 Top-16 指数码本结合固定长度编码与稀疏逃逸流机制。在 BF16 张量上实现 613.3 GB/s 压缩吞吐,端到端传输速度提升最高 1.32 倍。

  2. arXiv · AI33

    长输出 LLM 服务中的抢占优化:Stint 系统

    论文提出 Stint 系统,解决推理 LLM 长输出场景中 KV 缓存因内存不足导致的频繁抢占(KV thrashing)问题。 通过 CPU 连续池存储固定长度 KV 快照、年龄-based 重新准入及剩余长度估计选优,Stint 在 Qwen3-32B 上使无请求暂停超 50 秒,p99 输出 token 时间降低 50.7%,整体完成时间缩短 10.7%。

  3. arXiv · AI22

    CAIGA 企业 AI 治理架构:AI 治理委员会与首席伦理官的角色演变

    针对不足半数董事会将 AI 治理列为优先事项的机构缺乏正式框架的现状,论文提出由首席伦理官与跨职能 AI 治理委员会共同构成的 CAIGA 架构。 该架构参考欧盟 AI 法案及金融服务业实践,嵌入清晰的责任政策、结构化风险管理流程及伦理文化,旨在将伦理原则转化为运营决策。 此架构为应对全球 AI 监管快速变化提供了可复制的参考,适用于企业领导者与政策制定者。

  4. arXiv · ML21

    量化草稿 KV Cache 实现内存高效投机解码

    研究提出通过量化草稿 KV Cache 降低投机解码的额外内存占用,目标模型缓存保持 BF16 精度以确保最终校正规则不变。 基于 KIVI 原则采用 K4V4 量化方案(key 按通道、value 按 token),在 6 个模型对上将草稿缓存内存减少 66.20%,总内存减少 23.95%,平均接受率仅下降 1.36% 相对值。

  5. arXiv · ML23

    DEVL框架:无训练流式推理,实现离线ASR模型实时转写且无精度损失

    研究团队提出DEVL框架,这是一种无需训练的流式推理方法,允许离线ASR模型在用户停止说话后快速返回高精度转写。 该方法将部分转写作为草稿,在回合结束时通过单次前向传播验证,确保最终结果在精确算术下与离线贪心输出完全一致。 在包含Qwen3-ASR-1.7B的五模型对比中,95%-100%的最终转写与离线结果字节级相同,WER偏差小于0.13分,且单流最终响应速度提升1.5至7.3倍。

  6. arXiv · AI23

    气电厂控制逻辑LLM助手的部署经验:来源权威性与有界检索

    在两座燃气电厂部署的控制系统显示,采用VLM从PDF重建拓扑的提取精准度仅为0.51,且在4块H200 GPU上耗时3.1小时。 后续测试表明,将LLM工具调用代理替换为显式执行计划后,token使用量降低20倍,中位延迟缩短3倍,且检索节点集保持一致。 该设计将本地LLM限制在意图分类和解释上,利用确定性软件处理基于权威来源的技术证据检索与构建。

  7. arXiv · ML28

    深度循环语言模型的架构设计与 KV 重放机制

    针对深度循环模型在自回归解码中内存随深度增长的问题,研究提出结合架构调整与缓存共享以降低内存成本。 具体包括构建循环混合架构、Parcae 风格专用循环工作区,以及引入循环 KV 重放机制,仅允许选定迭代写入 KV 状态供后续复用。 研究发现循环混合架构对注意力锚点频率和循环混合器性能敏感,且循环 KV 重放能在保持性能接近全量缓存基准的同时实现跨迭代共享。

  8. arXiv · AI27

    DH-BPR:基于 LLM 的数据驱动启发式业务流程再造框架

    DH-BPR 框架结合 LLM 与规则技术,通过事件日志自动检测并应用业务流程再造启发式规则,最终输出优化后的 BPMN 模型及资源模型。 该框架实现了从用户驱动向数据驱动的转变,支持联合设计与记录应用计划。基于合成基准及两个真实事件日志的模拟评估显示,该框架将平均案例完成时间最多缩短 61.5%。