跳到正文
11月13日周五
  1. arXiv · ML32

    量化对比中的噪声底线:引擎、重启、批次与内核漂移对 8 位与 4 位影响的测量

    在 Cloudflare 的 Clef-flash 和 Clef 模型上,非量化因素(如引擎、重启、批次)导致的决策变化在 0 到 0.92% 之间。 同引擎内的量化影响显著,Clef 模型在 Q4_K_M 格式下决策变化达 5.79%。 作者开源了代码与预注册数据,用于复现 31,275 题的量化精度对比。

  2. AWS Machine Learning Blog53

    Natera 用 Amazon Bedrock AgentCore 为实验室运维搭建 SWARM 智能体

    Natera 基于 Amazon Bedrock AgentCore 搭建 SWARM 系统,为实验室设备工单提供自动诊断。swarm-agent 自动产出诊断报告,swarm-hive 支持工程师交互追问,两者共享一个包含 33 项技能的技能库。评估数据显示,平均首次响应时间从 17.4 小时缩短到约 8 分钟,96.2% 的工单可自动给出首轮响应。

  3. AWS Machine Learning Blog63

    Amazon Bedrock 四项推理成本优化配置:缓存、层级、推理与限制

    AWS 官方技术团队实测并解析了影响 Amazon Bedrock 推理成本的四个请求级配置选项,包括提示缓存时间、服务层级(Flex/Standard)、自适应推理强度(Reasoning effort)和输出 Token 限制(maxTokens)。

    推荐理由:通过实测 4 种请求级配置,揭示了 Bedrock 隐性计费规则与成本平衡点,提供了从 5 分钟缓存切换到 1 小时缓存的判断依据。

  4. AWS Machine Learning Blog68

    在 Amazon Bedrock 上优化任务成本并证明 Agent 投资回报率

    本文提出在 Amazon Bedrock 上计算和优化模型任务级成本的框架。文章指出任务成本受分词器效率、输出对齐、Agent 循环效率与推理开销四个隐性因素影响,并通过案例说明列表价更高的模型因分词更少、零次试错完成,实际成本反而更低 65%。

    推荐理由:文章展示了在 Amazon Bedrock 中结合四个隐性成本驱动因素与实际工作负载计算任务级成本的框架,并给出了证明 Agent 投资回报率的五维记分卡与落地步骤。

  5. AWS Machine Learning Blog51

    使用 CUR 2.0 和 AWS Budgets 追踪并限制 Amazon Bedrock 按 IAM 身份的成本

    AWS 官方博客展示如何利用 Amazon Bedrock 自动记录的 IAM 主体身份,结合 CUR 2.0 和 AWS Budgets 实现按用户或团队的大模型成本追踪与支出限额。该方法无需编写应用代码,通过激活成本分配标签生成可见性,并利用 Budget 动作在超额时自动应用 Deny IAM 策略以限制对高成本模型的访问,从而实现原生的 FinOps 管控。

11月12日周四
  1. AWS Machine Learning Blog42

    AWS Quick 推出 AI-PDLC 框架,六智能体加速产品开发

    AWS Quick 利用六个专用 AI 智能体构建 AI-PDLC 框架,协助团队加速产品开发。该框架整合企业数据,从客户信号生成经过验证的原型规范。 每个阶段都保留人工审批,Orchestrator 负责调度专项智能体。产出 prototype_spec.md 供 Kiro 或 Claude Code 等编码智能体执行开发。

11月11日周三
  1. arXiv · ML28

    前缀缓存 Agent 服务中的持续性降级:突发流量导致 vLLM 稳定性下降

    研究表明,vLLM 中轻微突发流量会导致前缀缓存 Agent 服务陷入亚稳态,命中率降至 10%,吞吐量减半,且 70 分钟无法恢复。该现象在 Qwen3-32B 和 SGLang 上复现,无缓存时则不存在。 系统通过限制活跃会话的 KV 驻留需求至内存池容量,并采用无需针对性调参的阈值,成功在所有测试运行中防止了服务崩溃。

  2. arXiv · ML23

    Plumbline: 当损失函数失效时,正确验证 LLM 训练的方法

    Amazon 生产环境采用的 Plumbline 系统用于 LLM 训练正确性验证,在 3 个框架和 5 个模型中发现 61 个问题,其中 32 个为静默故障。 该系统检查从数据到模型服务的全训练生命周期,支持新模型接入验证及故障根因追踪,42 个问题已修复或上报。 将 61 个问题归为 7 种故障模式,展示了训练流程中的关键薄弱环节。

  3. arXiv · ML21

    HiLo 与 Spar:通过压缩梯度传播实现分布式 on-policy 后训练的高效 LoRA 同步

    分布式 on-policy 后训练中,传输 LoRA 适配器易在带宽受限网络中成为瓶颈。HiLo 框架通过传播压缩梯度并本地重放优化器状态替代参数传输,解决此问题。 配合 Spar 梯度压缩器(结合谱截断、自适应秩分配和误差反馈),HiLo+Spar 在保持学习质量接近全同步的同时,仅传输适配器字节的 1.6%,并在带宽受限下将端到端更新速度提升最高 2.2 倍。

  4. AWS Machine Learning Blog69

    使用 LangGraph 与 Amazon Bedrock AgentCore Web Search 构建每日依赖项监控工具

    Amazon Bedrock AgentCore 的 Web Search API 现已可用,它为智能体提供带有来源引用的最新网络搜索结果。这篇文章介绍了一个使用 LangGraph 结合该 API 构建安全团队每日依赖项监控工具的教程,该工具通过并行搜索 npm、PyPI 和容器基础镜像,并利用代码层限制和证据检查机制来确保结果准确。

    推荐理由:文章展示了如何在 LangGraph 中将不可更改的规则与数据保留在代码中,提供生产级智能体的构建范式。

  5. AWS Machine Learning Blog57

    Amazon Bedrock 调用数据湖:实现多账号 Token 可观测性与成本管理

    AWS 推出 Amazon Bedrock 调用数据湖方案,将分散在多个 AWS 账号中的模型调用日志汇聚至中央存储,提供统一的 Token 消耗可观测性。该方案通过 CloudWatch 收集日志,利用 Lambda 清洗数据,最终通过 Amazon Data Firehose 转换为 Parquet 格式写入 S3,支持使用 Athena 查询。

11月10日周二
  1. arXiv · ML41

    LLM前缀缓存淘汰策略重探:复杂算法失效与LRU的稳健性

    针对LLM前缀缓存,分析显示简单的最近最少使用(LRU)算法表现稳健,可媲美复杂策略。 研究基于200亿token生产轨迹,评估了14种淘汰算法,发现会话节奏主导前缀复用,使近期性成为强预测因子。 研究确立了结合快速降级与计算感知淘汰的设计原则,相关模拟器与数据已公开。

  2. arXiv · AI38

    LLM 服务框架实证研究:框架、优化算法及实际应用分析

    一项针对开源系统的大规模实证研究分析了五个主流 LLM 服务框架的实际采用情况。 研究发现 vLLM 在流行度和采用率上最高,并行计算、内存管理和网络剪枝是最常用的方法类别。由于缺乏多框架组合使用的普遍性,开发者通常依赖单一框架,但结合框架可补充服务堆栈中的互补能力。 该研究为研究人员、维护者及从业者提供了 LLM 系统采用的实证参考。

  3. arXiv · ML21

    ICML 2026 论文:面向稳定低精度训练的注意力 Logits 秩感知谱界

    研究人员提出秩感知谱界方法,为 Transformer 注意力低精度训练提供溢出保护,在 Llama-2-70B 等模型上消除 FP8 溢出且 MMLU 准确率持平。 该方法基于交互矩阵谱范数计算每层缩放因子,结合隐式幂迭代和融合注意力内核,相比无秩感知界收敛更紧密。 论文已被 ICML 2026 接收,代码已公开。