计算置换网格编码(CPTC):通过两次乘法与64字节表实现近最优量化
CPTC提出低比特量化格式,在4位时与理想值差距仅0.07比特,匹配数千倍大表的随机置换网格码。 解码器通过两次乘法索引64字节表,支持1至6位宽,精确复现INT4/FP4。在Llama 3.1 8B/70B权重量化中,KL散度比QTIP低最高27%,已集成于AWS Trainium 4。
CPTC提出低比特量化格式,在4位时与理想值差距仅0.07比特,匹配数千倍大表的随机置换网格码。 解码器通过两次乘法索引64字节表,支持1至6位宽,精确复现INT4/FP4。在Llama 3.1 8B/70B权重量化中,KL散度比QTIP低最高27%,已集成于AWS Trainium 4。
Gemma 4 31B 模型通过单次存储 640 值行替代完整的 key/value 缓存,在 vLLM 原型中使稳态解码 KV 内存降低 1.34 至 1.40 倍。
针对循环扩散 Transformer,LoopPrune 提出结合重要性估计与权重补偿的剪枝恢复框架。 在 30% 结构化参数剪枝下,Looped-DiT B/16 保留 93.14% 的平均准确率,较最优基线提升 9.49%。SDXSv3 在推理后端中减少 34.36%-44.64% GPU 显存占用,加速 1.46-1.74 倍。
提出轻量级架构修改EchoMoE,通过传输压缩差异替代完整隐藏状态,将MoE模型跨节点通信量减少58%,吞吐量提升22.6%。 该方法仅需约8500倍少于全预训练的token进行微调,支持量化通信且对vLLM有推理集成,18个基准测试平均性能损失控制在3.8个百分点内。
26B 参数 MoE 扩散模型在带宽受限加速器上解码时,量化后 logits 采样流水线取代专家 GEMM 成为最大耗时来源。 该流水线处理 S 倍冗余 logit 条目,通过双层无损优化和 W4A16 专家内核,在 GSM8K、HumanEval、MATH 基准测试精度不变的情况下,实现 2.4-2.7 倍端到端加速。 该性能瓶颈特定于 MoE 扩散模型,代码和量化权重已开源。
VisHead-Spec 提出头路由视觉注意力机制,解决多模态推测解码在高并发下加速比下降问题。 该方法在 Qwen3-VL-8B 模型中,让推测解码器 40 个 KV 头中的 8 个读取图像特征,其余仅关注文本。 在 batch size 64 时,其吞吐量比自回归解码提升 16.0%,显著优于 DSpark 的 9.5%。
基于20,000次SWE-bench Verified等测试,研究揭示前缀缓存下上下文管理对LLM编码智能体成本的影响。 添加检索代码使读取和搜索命令减少18%–34%,但在缓存输入价格为非缓存十分之一时成本反而增加33%–42%;移除旧观察结果在无缓存折扣时节省19%–36%,有折扣时成本反增38%–116%。 表明上下文管理评估需同时考虑token价格与智能体后续行为。
研究发现,基于归因的剪枝在推理语言模型中测量不可靠,评分最终答案 token 会导致模型困惑度上升或准确率下降 27.6 至 32.2 分。 因果重要性无法定位到单个神经元,需以约 100 个神经元的组为粒度进行归因,且“推理特异性”重要性与通用重要性不可分离。 建议剪枝时应以推理 token 为评分对象,并优先使用准确率而非困惑度评估模型性能。
Xing 4 是 TeleChat 衍生系列,在昇腾芯片上实现了 285B 参数模型的前训练,使用 8,192 张昇腾 910C 卡。 前训练基于 MindSpore HyperParallel,结合拓扑感知混合分片与长序列工作负载管理。 引入 TeleGym 智能体执行平台,支持异步解耦执行与部分 rollout,为后续更大规模模型奠定昇腾训练基础。
OpenClaw 发布网关扩展稳定版 2026.10.33,集成自 2026.9.37 以来的累计改进及关键安全更新。 该版本基于 2026.11.4 产品基线,涵盖核心 npm 包、官方插件及 Gateway Docker 镜像,不包含原生应用。主要优化包括长对话内存管理、更新中断恢复、会话隐私强化及自动化 MCP 事件响应。
Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,提供托管的多节点部署和分离式推理能力。在 Qwen3-235B-A22B-FP8 测试中,分离式架构吞吐量达到聚合架构的 2.05 倍。多节点聚合部署下,两节点配置保留单节点吞吐量的 99.1%。
推荐理由:通过 Qwen3-235B 与 Qwen3.5 基准测试,展示了分离式 prefill/decode 架构能提升 2 倍吞吐量,为优化大规模 LLM 部署提供了工程参考。
Pallav Gupta 分享了在 Amazon Bedrock AgentCore 上构建生产级 Agent 时降低处理大型 JSON 负载成本与延迟的三种策略。该方法将 Token 消耗降低 71%,平均延迟减少 80%,适用于处理大量结构化数据的智能体应用。
Amazon SageMaker AI 实时端点新增 KV cache 感知路由(KV-aware routing),利用模型容器上报的缓存状态将请求路由到已有长缓存匹配的实例。测试显示该策略在多轮对话场景下可降低 97% 的 p50 首 token 延迟,并提升 234% 的吞吐量,需通过环境变量开启缓存事件上报并在端点配置中设置策略为 KV_AWARE。
推荐理由:文章对比了两种路由策略在缓存命中率和延迟上的差异,并给出了在 SageMaker 中配置和验证的具体步骤,有助于评估该功能在自身推理服务中的收益。
AWS 提出降低生成式 AI 成本的框架,建议先判断工作流步骤是否需要模型,再用确定性代码处理规则、用受限决策调用处理固定选项、仅在开放式任务中调用 Amazon Bedrock 模型。文章给出了决策流程图和基于 AWS Step Functions、AWS Lambda 与 Bedrock 结构化输出的实现示例,强调通过缩小模型规格和避免不必要的模型调用来控制成本与延迟。
文章展示了在 Amazon Bedrock AgentCore 中测试的三种 Snowflake OAuth 认证配置,旨在解决 AI 智能体调用 Snowflake MCP 服务器的身份验证挑战。
AWS Forward Deployed Engineering 已在包括美国、巴西、日本在内的 15 个国家面向商业及公共部门客户提供服务,并内置数十个生产级加速器。该服务聚焦 AI 从演示到生产的“最后一公里”,通过构建基础、自动化工作流及治理架构解决落地难题。例如 Marsh 通过该服务实现目标领域效率提升最高 70%,部分流程从小时级缩短至秒级。
Aionic Labs 的开源时序语言模型 OpenTSLM 现已在 Amazon SageMaker JumpStart 上开放部署。本文结合 Nexthink 的 IT 运维场景,演示了如何利用该模型分析设备遥测数据以提供主动式支持。
LoanPro 与 AWS 合作,基于 Amazon Bedrock AgentCore 构建多智能体贷款服务助理,客户通话时间最多减少 15%。 系统运行 Claude Sonnet 5.5、Claude Haiku 5.5 及 Claude Opus 5.5 模型,采用 Strands Agents SDK 并集成 MCP 服务器。
summary_zh: ArisGlobal 通过调整 Amazon Bedrock 提示缓存策略,将 6 个月内 150% 的前缀增长转化为成本控制优势,使单次推理成本增加控制在 200% 以内。
SplitZip 是一种针对 LLM 分离式推理中 KV 缓存传输瓶颈设计的 GPU 友好型无损压缩器,可在不修改模型执行逻辑的前提下实现位级保真传输。 其利用 KV 激活值中浮点数指数的冗余性,采用校准过的 Top-16 指数码本结合固定长度编码与稀疏逃逸流机制。在 BF16 张量上实现 613.3 GB/s 压缩吞吐,端到端传输速度提升最高 1.32 倍。
扩散模型后训练量化(PTQ)框架 Chameleon 提出将数值格式作为动态变量,在固定位宽下按权重通道、激活层及时间步桶动态选择量化格式,以优化内存受限加速器上的推理效率。
Nemotron 3.5 Transcribe 开源语音识别模型的高吞吐推理引擎在 H100 SXM 上峰值达 4,345x 实时,是调优 vLLM 的 1.39 倍,B200 上峰值 6,367x。
SWAN-Rx 在固定子载波间隔下,前向传播计算量随带宽线性增长,支持跨带宽和信道条件的冻结权重复用。 该接收器在 273 PRB 测试中,比 NRX 和 DeepRx-MIMO 基线分别减少 16.9% 和 39.7% 的参数,前向操作分别减少 56.3% 和 35.7%。
研究构建了 Apple Neural Engine (ANE) 的预测性能耗 Roofline,修正了单一带宽假设,发现 ANE 存在快慢两条有效内存带宽路径。
基准测试显示,在双 NVIDIA DGX Spark GB10 系统上,使用 vLLM 进行张量并行(TP=2)可使峰值吞吐量中位数提升 1.59 倍,优于流水线并行(PP=2)的 1.39 倍增益。
论文提出 Stint 系统,解决推理 LLM 长输出场景中 KV 缓存因内存不足导致的频繁抢占(KV thrashing)问题。 通过 CPU 连续池存储固定长度 KV 快照、年龄-based 重新准入及剩余长度估计选优,Stint 在 Qwen3-32B 上使无请求暂停超 50 秒,p99 输出 token 时间降低 50.7%,整体完成时间缩短 10.7%。
针对不足半数董事会将 AI 治理列为优先事项的机构缺乏正式框架的现状,论文提出由首席伦理官与跨职能 AI 治理委员会共同构成的 CAIGA 架构。 该架构参考欧盟 AI 法案及金融服务业实践,嵌入清晰的责任政策、结构化风险管理流程及伦理文化,旨在将伦理原则转化为运营决策。 此架构为应对全球 AI 监管快速变化提供了可复制的参考,适用于企业领导者与政策制定者。
summary_zh: MiSTiQ 是一种结合 Trellis 编码存储与 Microscaling(MX)格式的新型 KV 缓存量化方案,在 Llama3 和 Qwen3 上以约 1.25 有效位/元素实现比基线更低的 WikiText 困惑度和更高的 GSM8K 准确率。
Lasso 利用 Intel QAT 加速器实现多模态 AI 内容检测,文本检测平均准确率 82%,速度提升 83,784 倍,能耗降低 99%。 检测延迟低至 0.74 微秒,支持文本、视频、代码和图像全模态检测,在无监督场景下表现优于现有基线。
针对工业数字孪生中机理模型与数据驱动方法的融合难题,研究提出DNA双螺旋层级深度交互网络架构。 DNA通过互增强机制将两类建模方式紧密交织,并支持多阶段建模复杂系统。 在两个工业系统评估中,相比最强基线,DNA的MAE分别降低3.704%和3.175%。
研究提出通过量化草稿 KV Cache 降低投机解码的额外内存占用,目标模型缓存保持 BF16 精度以确保最终校正规则不变。 基于 KIVI 原则采用 K4V4 量化方案(key 按通道、value 按 token),在 6 个模型对上将草稿缓存内存减少 66.20%,总内存减少 23.95%,平均接受率仅下降 1.36% 相对值。
移除 122B 参数 MoE 推理模型 75% 路由专家后,LiveCodeBench 循环问题从 0 增至 44 个。 B 方法通过加载 rank-8 训练适配器恢复每层 2 个专家,在预注册测试中解出 116 题(+9.2 pp),显著优于未修复基线。
研究团队提出DEVL框架,这是一种无需训练的流式推理方法,允许离线ASR模型在用户停止说话后快速返回高精度转写。 该方法将部分转写作为草稿,在回合结束时通过单次前向传播验证,确保最终结果在精确算术下与离线贪心输出完全一致。 在包含Qwen3-ASR-1.7B的五模型对比中,95%-100%的最终转写与离线结果字节级相同,WER偏差小于0.13分,且单流最终响应速度提升1.5至7.3倍。
在两座燃气电厂部署的控制系统显示,采用VLM从PDF重建拓扑的提取精准度仅为0.51,且在4块H200 GPU上耗时3.1小时。 后续测试表明,将LLM工具调用代理替换为显式执行计划后,token使用量降低20倍,中位延迟缩短3倍,且检索节点集保持一致。 该设计将本地LLM限制在意图分类和解释上,利用确定性软件处理基于权威来源的技术证据检索与构建。
针对深度循环模型在自回归解码中内存随深度增长的问题,研究提出结合架构调整与缓存共享以降低内存成本。 具体包括构建循环混合架构、Parcae 风格专用循环工作区,以及引入循环 KV 重放机制,仅允许选定迭代写入 KV 状态供后续复用。 研究发现循环混合架构对注意力锚点频率和循环混合器性能敏感,且循环 KV 重放能在保持性能接近全量缓存基准的同时实现跨迭代共享。
DH-BPR 框架结合 LLM 与规则技术,通过事件日志自动检测并应用业务流程再造启发式规则,最终输出优化后的 BPMN 模型及资源模型。 该框架实现了从用户驱动向数据驱动的转变,支持联合设计与记录应用计划。基于合成基准及两个真实事件日志的模拟评估显示,该框架将平均案例完成时间最多缩短 61.5%。
研究提出基于间隔正则化的微调方法,在 GSM8K 数据集上将 Token 翻转率降低 35%,分歧率从 53.8% 降至 38.1%。 该方法通过惩罚模型 top-1 与 top-2 logit 间隔至噪声分位的两倍,代价是准确率损失 1.3 至 2.9 分,且不影响确定性所需的 logit 间隔阈值。
针对 NVFP4 精度不足,研究提出梯度引导量化方法 FlipQuant。 通过端到端梯度学习二进制格式映射,支持 SM100 硬件原生内核,GEMM 开销中位数为 1.7%。 在 6 个语言模型测试中,FlipQuant 平均闭合了 NVFP4 与 BF16 之间 42.5% 的困惑度差距。 ```
MeltKV 提出内存对齐变比特打包向量量化框架,用于压缩长上下文 LLM 的 KV 缓存。 该框架通过自适应分配分组 Key 通道的比特宽度并共享 Head 级码本,将 KV 表示压缩至 sub-4-bit 至 1 bit 水平。 在可比困惑度下,MeltKV 较 SOTA VQ 方法降低 48.1% 内存使用率和 52.9% 推理延迟。
SpecRelay 提出边缘-云 LLM 推理系统,通过异步验证和 Latency-Aware Router 优化 RTT 开销。 在 250 ms 额外往返延迟且精度匹配的情况下,相比同步基线,SpecRelay 在 SPROUT 和 OlympiadBench 上实现 1.95x 和 1.55x 吞吐量提升,同时仅将 47% 和 39% 的查询发送至云端。