SoScale:面向 FP4 量化的二阶梯度搜索
summary_zh: 提出 SoScale,一种用于层级 FP4 量化的二阶梯度权重码搜索方法,在 Qwen3 模型上降低了 MXFP4、NVFP4 和 HiF4 的量化性能下降。
summary_zh: 提出 SoScale,一种用于层级 FP4 量化的二阶梯度权重码搜索方法,在 Qwen3 模型上降低了 MXFP4、NVFP4 和 HiF4 的量化性能下降。
针对 MoE 模型的 CPU-GPU 专家传输瓶颈,提出了一种在不改变路由决策前提下的“未来最远驱逐”策略。 该策略在 OLMoE-1B-7B 模型及 L40S GPU 上实测显示,较 LRU 缓存减少 2.1 倍专家拷贝次数且无质量损失,需未来请求信息以发挥最大效用。
在 Cloudflare 的 Clef-flash 和 Clef 模型上,非量化因素(如引擎、重启、批次)导致的决策变化在 0 到 0.92% 之间。 同引擎内的量化影响显著,Clef 模型在 Q4_K_M 格式下决策变化达 5.79%。 作者开源了代码与预注册数据,用于复现 31,275 题的量化精度对比。
Natera 基于 Amazon Bedrock AgentCore 搭建 SWARM 系统,为实验室设备工单提供自动诊断。swarm-agent 自动产出诊断报告,swarm-hive 支持工程师交互追问,两者共享一个包含 33 项技能的技能库。评估数据显示,平均首次响应时间从 17.4 小时缩短到约 8 分钟,96.2% 的工单可自动给出首轮响应。
SGLang-Neuron 正式公开可用,允许在 AWS Trainium 芯片上使用 SGLang 接口部署模型及生成强化学习 rollout。 该插件作为树外扩展支持 Trainium,底层基于原生 PyTorch 运行,采用 NKI 内核并通过 torch.compile 编译执行,同时支持 PD 分离架构。
AWS 官方技术团队实测并解析了影响 Amazon Bedrock 推理成本的四个请求级配置选项,包括提示缓存时间、服务层级(Flex/Standard)、自适应推理强度(Reasoning effort)和输出 Token 限制(maxTokens)。
推荐理由:通过实测 4 种请求级配置,揭示了 Bedrock 隐性计费规则与成本平衡点,提供了从 5 分钟缓存切换到 1 小时缓存的判断依据。
本文提出在 Amazon Bedrock 上计算和优化模型任务级成本的框架。文章指出任务成本受分词器效率、输出对齐、Agent 循环效率与推理开销四个隐性因素影响,并通过案例说明列表价更高的模型因分词更少、零次试错完成,实际成本反而更低 65%。
推荐理由:文章展示了在 Amazon Bedrock 中结合四个隐性成本驱动因素与实际工作负载计算任务级成本的框架,并给出了证明 Agent 投资回报率的五维记分卡与落地步骤。
AWS 官方博客展示如何利用 Amazon Bedrock 自动记录的 IAM 主体身份,结合 CUR 2.0 和 AWS Budgets 实现按用户或团队的大模型成本追踪与支出限额。该方法无需编写应用代码,通过激活成本分配标签生成可见性,并利用 Budget 动作在超额时自动应用 Deny IAM 策略以限制对高成本模型的访问,从而实现原生的 FinOps 管控。
使用 Amazon Bedrock 和 LiteLLM 可构建自助式 LLM 网关,将 Bedrock 抽象为 OpenAI 兼容 API,支持按用户成本控制与模型性能观测。
AWS 发布方案通过多层防线让企业 Agent 共享知识库时仍按用户权限检索。核心流程为:通过 AWS Cognito 与 Lambda 在访问令牌中注入邮箱。
推荐理由:文章给出多层防线与可部署的CDK堆栈,读者可据此在共享Agent场景中隔离各用户的数据访问权限。
AWS 发布方案在 PyTorch DDP 训练中集成三项检查,定位静默数据损坏(SDC)并自动隔离替换故障节点。 检查涵盖非有限梯度、环重放审计及权重指纹比对;经 4 台 p5.48xlarge 实例(32 张 H100 GPU)验证,代码已在 GitHub 开源。
开发者可通过 Native AWS Access、AgentCore Gateway 或 LLM Gateway 三种路径在 Amazon Bedrock 上运行 OpenAI Codex,核心是统一身份管理与 IAM 权限控制。
DXC OASIS 基于 Amazon Bedrock 构建多模型 AI 基础设施,平均解决时间降低 95%。 涵盖 Anthropic Claude、Amazon Nova、Meta Llama 等模型,集成 Guardrails 与 PrivateLink 保障安全。
AWS 利用 AWS CloudTrail、Amazon EventBridge 和 AWS Lambda 构建事件驱动架构,自动化同步 Amazon Bedrock AgentCore 中 MCP 服务器的元数据。
AWS re:Invent 2026 的 AI/ML 轨道提供超过 140 个独家会话,覆盖从 AWS Trainium 芯片、Amazon Bedrock 模型服务到 AgentCore 智能体开发的全栈技术。
JioStar 首席架构师 Vijay Seshadri 分享了在 5 亿用户规模下实现 AI 发现的实践经验。 内容涵盖评测机制、安全护栏以及将 AI 投入生产环境的经验教训。 未明确提及具体模型名称或性能提升倍数。
AWS 推出框架无关系统 UAEF,利用 36 项内置指标和 7 个维度对 AI 智能体进行统一评估。 该系统通过适配器将 LangGraph 等框架的 Trace 标准化,结果存储于 DynamoDB 与 S3。 12 家机构使用 UAEF 对比智能体版本,通过生成报告实现评估与迭代的闭环。
AWS Quick 利用六个专用 AI 智能体构建 AI-PDLC 框架,协助团队加速产品开发。该框架整合企业数据,从客户信号生成经过验证的原型规范。 每个阶段都保留人工审批,Orchestrator 负责调度专项智能体。产出 prototype_spec.md 供 Kiro 或 Claude Code 等编码智能体执行开发。
Amazon SageMaker AI 宣布支持双向流推理的基于用量计费,解决实时语音 AI 的实时软件计费难题。Deepgram 作为首发合作伙伴,为其 AWS Marketplace 上的 STT 和 TTS 服务实现按用量计费。
论文提出 STAR 框架,利用冻结视觉语言模型的注意力机制生成语义关键度指标,通过零样本学习实现无线资源分层分配。 在 5G NR 链路仿真中,该方法在工厂和车辆监控数据集上分别减少 59.5% 和 91.5% 的资源单元,且无需为每一新任务重新训练模型。
针对车联网中视觉 Transformer 模型部署难题,提出联合选择模型分区点、每层量化位宽及执行放置的框架,最小化计算与通信能耗。 该框架被建模为混合整数线性规划问题(MILP),在 Jetson Orin 系列节点上评估,通过 OPV2V 驱动的多流工作负载测试。
新论文提出接受率感知损失函数,直接优化预期接受 token 数量,提升 LLM 推测解码速度。 该方法包含贪婪解码的 EAL 损失和采样解码的 WTV 损失,并可结合 GRPO 强化学习。 实验显示该方法在多种场景下优于传统 KL 散度匹配,显著提升接受长度。
提出 BALF 框架,实现免微调的端到端模型压缩,涵盖线性层及标准/分组卷积。 该方法通过拉格朗日松弛分配各层秩,以输出失真最小为优化目标。 在 CIFAR-10 和 ImageNet-1K 上,BALF 在相同 FLOP 或参数量预算下精度优于 SVD 基线。
SlackTier 利用逐层预取截止时间将 DeepSeek-V4.1 的 Engram 查找表从 DRAM 移至 NVMe 或 RDMA,主机内存从 212 GiB 降至 34 GiB。
研究表明,vLLM 中轻微突发流量会导致前缀缓存 Agent 服务陷入亚稳态,命中率降至 10%,吞吐量减半,且 70 分钟无法恢复。该现象在 Qwen3-32B 和 SGLang 上复现,无缓存时则不存在。 系统通过限制活跃会话的 KV 驻留需求至内存池容量,并采用无需针对性调参的阈值,成功在所有测试运行中防止了服务崩溃。
研究者提出 SteerDistill 方法,通过闭环教师引导量化 LLM 智能体。该方法让全精度教师指导学生修正失败响应,并在无辅助推理时匹配被引导后的预测。 该方法在 W4A16 量化下,于五个基准测试中平均得分超过最强量化基线 1.67-2.18 分,且与 BF16 差距保持在 1 分以内。
Amazon 生产环境采用的 Plumbline 系统用于 LLM 训练正确性验证,在 3 个框架和 5 个模型中发现 61 个问题,其中 32 个为静默故障。 该系统检查从数据到模型服务的全训练生命周期,支持新模型接入验证及故障根因追踪,42 个问题已修复或上报。 将 61 个问题归为 7 种故障模式,展示了训练流程中的关键薄弱环节。
TKNP架构将权重放置与注意力所有权解耦,在64块H100上实现长上下文高并发工作负载的完成率提升。 该方法基于vLLM实现,在Llama 3.1 405B和Nemotron-4 340B上评估,吞吐量比DCP提升最高1.7倍。
针对小批量下固定开销主导延迟的问题,提出 NVLinkOneSided 单侧专家并行 All-to-All 通信方案。该方案在单一 NVLink 域内通过源秩直接推送 token 至目标秩缓冲,结合 Fence 与 Sentinel 两种同步协议,无需预交换元数据。
研究设计了一种循环因果编码器-解码器(Looped CED),通过让稀疏编码器层生成全局 KV 并复用,实现了零轮次 KV 增长的循环深度。 该模型通过跨层和跨轮次的 KV 共享,以未循环模型的最小内存占用,恢复了循环 Transformer 86-93% 的性能提升,全局 KV 减少至 1/6。
分布式 on-policy 后训练中,传输 LoRA 适配器易在带宽受限网络中成为瓶颈。HiLo 框架通过传播压缩梯度并本地重放优化器状态替代参数传输,解决此问题。 配合 Spar 梯度压缩器(结合谱截断、自适应秩分配和误差反馈),HiLo+Spar 在保持学习质量接近全同步的同时,仅传输适配器字节的 1.6%,并在带宽受限下将端到端更新速度提升最高 2.2 倍。
月之暗面(Moonshot AI)Kimi K3.1 Pro Highspeed 已上线 Amazon Bedrock,生成速度为 Kimi K3.1 Pro 的 2-3 倍,并支持 100 万 token 上下文窗口。
Amazon Bedrock AgentCore 的 Web Search API 现已可用,它为智能体提供带有来源引用的最新网络搜索结果。这篇文章介绍了一个使用 LangGraph 结合该 API 构建安全团队每日依赖项监控工具的教程,该工具通过并行搜索 npm、PyPI 和容器基础镜像,并利用代码层限制和证据检查机制来确保结果准确。
推荐理由:文章展示了如何在 LangGraph 中将不可更改的规则与数据保留在代码中,提供生产级智能体的构建范式。
Amazon Bedrock AgentCore 提供内置、DeepEval 及 AutoEval 三类评估器,用于生产级智能体行为评估。内置评估器涵盖 15 个维度(如 GoalSuccessRate);DeepEval 专注多轮对话;AutoEval 识别安全信号。评估应从业务成果出发,避免仅依赖表面指标。
Trovata 利用 Amazon Bedrock 和 AgentCore 打造自主财务智能体,服务全球超 10,000 家银行连接。 客户实现年度成本节省超 100 万美元,每个会计团队每日节省超 5 小时,TMS 成本降低 77%。 AI 报告将财务处理时间从小时级缩短至 1 分钟内,通过 RBAC 保障企业级安全。
AWS 推出 Amazon Bedrock 调用数据湖方案,将分散在多个 AWS 账号中的模型调用日志汇聚至中央存储,提供统一的 Token 消耗可观测性。该方案通过 CloudWatch 收集日志,利用 Lambda 清洗数据,最终通过 Amazon Data Firehose 转换为 Parquet 格式写入 S3,支持使用 Athena 查询。
针对LLM前缀缓存,分析显示简单的最近最少使用(LRU)算法表现稳健,可媲美复杂策略。 研究基于200亿token生产轨迹,评估了14种淘汰算法,发现会话节奏主导前缀复用,使近期性成为强预测因子。 研究确立了结合快速降级与计算感知淘汰的设计原则,相关模拟器与数据已公开。
Tevatron 3.0 集成 Megatron-Core,开放源代码并支持 Qwen3-30B-A3B 重排序器训练。 在 BEIR-15 测试中,全参数 8B 密集模型 epoch 时间降低约 4% 至 22%,内存占用提升;MoE 模型激活参数减半且推理吞吐量更高。
一项针对开源系统的大规模实证研究分析了五个主流 LLM 服务框架的实际采用情况。 研究发现 vLLM 在流行度和采用率上最高,并行计算、内存管理和网络剪枝是最常用的方法类别。由于缺乏多框架组合使用的普遍性,开发者通常依赖单一框架,但结合框架可补充服务堆栈中的互补能力。 该研究为研究人员、维护者及从业者提供了 LLM 系统采用的实证参考。
研究人员提出秩感知谱界方法,为 Transformer 注意力低精度训练提供溢出保护,在 Llama-2-70B 等模型上消除 FP8 溢出且 MMLU 准确率持平。 该方法基于交互矩阵谱范数计算每层缩放因子,结合隐式幂迭代和融合注意力内核,相比无秩感知界收敛更紧密。 论文已被 ICML 2026 接收,代码已公开。