LowRAM:测试时组合 KV 缓存压缩的低秩键与摊销值方法
LowRAM 提出一种非对称 KV 缓存压缩管线,通过测试时拟合轻量级逐头预测器实现值缓存摊销,达到 4 倍近无损值压缩。该方法结合跨层低秩键压缩,可将峰值解码吞吐量提升至 5 倍,并与量化及驱逐技术组合,在长上下文下实现 26.9 倍压缩且保持 94.5% 基线性能。
LowRAM 提出一种非对称 KV 缓存压缩管线,通过测试时拟合轻量级逐头预测器实现值缓存摊销,达到 4 倍近无损值压缩。该方法结合跨层低秩键压缩,可将峰值解码吞吐量提升至 5 倍,并与量化及驱逐技术组合,在长上下文下实现 26.9 倍压缩且保持 94.5% 基线性能。
FlexFloor 通过联合自适应响应调度和活跃 worker 组,在保持专家计算需求的同时实现资源提前释放。 相比 verl 基线,FlexFloor 单位占用计算时间生成多约 65.40% 响应 token,响应生成吞吐量提升 52.74%。 rollout 奖励未见明显波动,从而支持大语言模型及 AI agent 更高效的后训练迭代。
NVIDIA 发布 Vera CPU,其在单颗处理器内兼顾了高吞吐量与快 Agent 性能,解决了 AI 工厂对每瓦特处理能力的限制。在 100MW 数据中心对比中,Vera 比最快的 x86 CPU 实现了 1.6 倍的每瓦特 Agent 密度,比最具能效比的 x86 CPU 实现了 2 倍的 Agent 速度。
推荐理由:官方给出了 Vera CPU 与 x86 在能效比下的实测对比数据,读者可以据此判断其在 AI 工厂场景的落地潜力。
亚马逊 A+ 内容使用高质量素材可提升 8–20% 销量,但现有单资产评估难以捕捉整体质量。该方案将完整电商页面渲染为快照,由 VLM 进行整体评估,并结合 OCR 信号与轻量级 CatBoost 分类器预测专家质量标签。 SHAP 解释用于生成改进建议,该端到端流水线基于 Amazon SageMaker AI 实现,涵盖数据摄取至生产监控。
NVIDIA 通过全栈协同设计优化 GPU、CPU 与存储层级,最大化每字节 HBM 利用率。 从 Blackwell Ultra 到 Vera Rubin 平台,单 GPU HBM 容量微增 3%,但在 SemiAnalysis AgentX 上每美元智能体吞吐量提升高达 30 倍。 该策略利用 NVFP4 压缩模型权重和 KV 缓存,并通过 NVL72 多卡分布与分层存储缓解内存墙限制。
阿里云百炼推出模型后训练能力,提供 SFT、DPO、强化学习、蒸馏等方案,支持通义系列未开源模型微调。 覆盖文本、视觉理解及图音视频语音专项训练,部分模型支持全参或 LoRA 高效微调,并配套 API 及评测工具。 调优模型可直接云上部署调用,但暂不支持下载到本地,企业需结合业务数据质量与成本评估启动训练。
Kimi Hosted Agents 正式发布 Harness as a Service,提供云端托管环境、独立沙箱及可审计留痕机制,免去企业自建与维护运行框架的数月投入。产品内置 140+ Skills 与 30+ 插件,支持按任务调用,并配备 8 个金融 Agent 开箱即用模板;企业可接入 Kimi Inference Hook 在推理前校验敏感数据,在可控安全规则下完成应用开发。
阿里云灵骏真武M890超节点完成月之暗面Kimi K3.1 Pro模型权重的Day0适配,并在vLLM与SGLang框架完成全链路验证。Kimi K3.1 Pro总参数2.8万亿,支持100万Token上下文,采用MoE架构与混合注意力设计。阿里云中卫超节点开启邀测,新增磐脉920智能网卡,支持400Gbps吞吐带宽。
Ekka 系统通过对比目标与参考框架的中间执行状态,实现了对 LLM 静默错误的自动诊断,在由真实错误构成的基准测试中取得了 80% 的 pass@1 准确率。 该系统利用差分调试方法,在 88% 的 pass@5 准确率下超越现有系统,并成功定位 4 个新的静默错误,所有结果均已获开发者确认。
提出FedFiOT框架,利用Fisher信息量化参数重要性,通过交替最小化方法联合优化神经元对齐与全局模型参数。 理论证明其优化过程单调降低分层合并目标,并建立量化客户端异质性影响的平稳性界。 在多个数据集上,该框架在单轮和少轮联邦学习设置中均持续优于竞争基线。
Tessera 是一种分布式运行时,通过固定工作负载形状实现千万原子规模的高效分子动力学模拟。 该框架将原子沿空间填充曲线排序至等量分片,使每层每步的张量形状保持一致;配合保守邻域皮层、融合 kernel、三级邻域搜索与 All-to-All 通信重叠,支持 CUDA Graph 重用。
SysPilot 是一款开源的跨库性能自动调优系统,旨在解决共享资源争用导致的性能瓶颈。该系统基于库性能合同(LPC),能比 OpenTuner 和 SMAC3 提升高达 38% 的性能指标,同时将运行次数减少 3 倍。
Bloomberg 在数千个仓库的自动化迁移中,混合管道生成了 2,333 个 Pull Request,其中 729 次迁移成功。 该方案涵盖约 1,900 个 Python 和 6,700 个 C++ 仓库,通过限制 LLM 在预计算上下文内进行转换并引入运行时遥测数据来降低成本。 研究发现瓶颈在于人工审查与部署,而非迁移生成;在 C++ 编译验证和统一仓库群中,该成本显著降低。
在 vLLM 上针对 Qwen1.5-MoE 等模型测试显示,MoE 服务中减少专家数量会使有害请求响应率最高上升 18.4 个百分点。 SafeStart 通过融合内核在提示词及前 8 个生成 token 阶段运行所有专家,后续使用减少后的专家集。 该方法在保留至少 85% 离线解码加速的同时,将越狱场景下的有害响应率变化控制在 -2.1 到 +1.3 个百分点之间。
Split-KV 提出一种精确的上下文并行方法,在 CP 规模 64 时保持 85%-91% 弱扩展效率,比最快基线实现 3.67 倍加速。 该方法使单层注意力通信量仅取决于查询大小,独立于上下文长度;全局查询视图支持基于成本的 LPT 策略,实现 <1% 负载不均衡,规划速度比最佳基线快三个数量级。
Hybrid Spark 提出结合模型型与非模型型起草器的推测解码框架,在 vLLM 中实现代码编辑场景 1.10–1.62 倍输出吞吐量提升。 该方法引入每个验证草稿 token 的价格机制,在温度 0 的聊天场景中保持 0.97–1.01 倍基准性能,支持单部署服务多种负载。
研究者给出了一个闭式条件,用于判断在何种情况下基于置信度信号的 LLM 分层级联比将查询全部路由至中心节点更具价值。 该条件通过引入架构成本比 $\kappa$ 来区分本地计算成本,并划定了存在可行阈值区间(信号下限与完美信号上限)的条件。 当本地计算为沉没成本时,级联的可行性变得无条件,信号质量决定了最终收益;这一发现为现有的分层系统提供了设计依据。
Amazon Bedrock AgentCore Evaluations 支持将 Jev 和 Strands Decider 2B 等决策模型接入代码型评估器,对智能体输出进行结构化打分。
AWS 官方教程介绍了名为 Deep Insight 的开源多智能体数据分析项目,它基于 Strands Agents SDK 和 Amazon Bedrock AgentCore,展示了四层上下文工程方法。
推荐理由:原文给出了四层上下文工程架构与代码实现,并展示单一工具与按需加载可显著降低token占用。
AWS Quick 推出 Smart Approvals,通过评估动作是否符合用户请求实现自动批准或转人工,不新增权限。 使用独立分类器模型结合知识图谱审查动作,单次自动批准仅限精确参数,超出范围则退回人工确认。 审计记录集成 AWS CloudTrail 与 Amazon CloudWatch Logs,支持全链路事件追溯与安全合规。
Indegene 在 AWS 上的 NEXT UDP 平台构建 LLM 驱动的数据质量智能体,生成上下文感知的数据质量规则并产出可运行的 SQL 和 Python 代码。 该智能体支持集中式人工介入治理,解决了传统技术规则与业务规则脱节、静态校验无法捕捉业务背景的问题。 此举帮助生命科学企业提升数据质量扩展性,降低数据工程维护工作量。
Daybreak Red 通过 Amazon Bedrock 将 GPT-5.6 Cyber 提供给 AWS GovCloud (US-East) 的获批客户,用于授权的网络安全工作。 该服务面向特定政府云环境提供,仅限授权客户使用。
EchoKV 提出了一种灵活的 KV Cache 压缩框架,支持在完整缓存与压缩缓存之间按需切换,避免修改模型投影。 该方法利用轻量级网络从部分子集重构被丢弃的 KV 分量,仅需在单张 A100 GPU 上对 Llama-3.1-8B 进行几分钟的两阶段微调。
PersonaFuse 提出一种情境感知的大模型行为自适应后训练框架。 该框架基于特质激活理论和大五人格模型,采用混合专家架构与情境感知路由机制,根据任务上下文动态调整模型行为。 在能力、工作流和部署三个层面评估显示,该框架在保持通用推理、交互质量和安全性的同时,提升了企业场景下的任务完成率。
开源插件 vLLM Hook 发布,允许通过配置捕捉和干预 vLLM 模型的内部状态,实现被动探测与主动干预。 版本 1(vLLM Hook MIA)基于 vLLM V2 模型运行器,保留 CUDA 图,显著降低解码开销,支持离线使用与 vllm serve 服务。 该插件支持提示注入检测、幻觉检测、激活转向等用例,扩展了推理引擎的可编程性。
针对大语言模型本地部署场景,研究提出名为 Bevy 的新推理系统,通过跨层前瞻的请求调度取代传统的专家预测预取。该方法在请求专家可用时先执行至后续层,再并行获取缺失专家,实现计算与通信重叠。在两个本地测试平台上,其解码吞吐量最高可达其他预取方法的 3.46 倍,且无需额外维护预测模型。
该研究提出名为INSIGHT-HPC的异常检测架构,旨在分析高性能计算集群的遥测数据以识别基础设施异常。系统通过结合统计、工作负载感知和物理引导证据,实现了0.862的F1分数。其结果展示了融合工作负载背景与可解释性在检测中的价值。
该研究系统分析深度学习编译器架构,并通过实证评估揭示其性能特征。 基于 PyTorch/TorchInductor 与 NVIDIA RTX A6000 的测试显示,编译器收益依赖工作负载,融合友好计算图最高加速 8.21 倍。 动态形状编译将形状转换成本降低约 70%,但会导致轻微的稳态性能下降。
ModelBlaster 提出 Memory-Augmented In-Context Reinforcement Learning (MAIC-RL) 框架,利用持久知识库跨 CUDA、OpenCL 及 RISC-V 硬件复用优化经验。
针对有限精度算术引发的误差,研究团队提出统一软件工具用于深度算子的随机数值验证。 工具基于 CESTAC 方法支持暴露运算,并为 GEMM 类内核提供算子级数据扰动近似。 该方法在单次计算路径中实现数值验证,检测不稳定源并监控训练与推理过程。
针对企业采购 AI 推理排放核算缺失问题,提出基于 Token 的核算方法,其中间级因子为全球平均电网下每百万计费 Token 排放 0.039 kg CO2e。
该研究提出首个支持跨模型 KV 传输的异构服务系统 CacheBridge,通过将紧凑映射器与在线多模型服务协同优化,显著降低模型切换时的延迟与内存开销。 在 Qwen3 14B 到 32B 的代理服务场景中,系统在 1 到 24 QPS 下将平均首字延迟降低 30% 至 98%,任务成功率与重新预填充相当。
论文提出 Qrita,一种基于枢轴截断与选择的 GPU Top-k 与 Top-p 采样算法。 该方法采用基于高斯分布的截断(Gaussian-based $\sigma$-truncation)和带重复值处理的四叉枢轴搜索(quaternary pivot search)。
研究表明,Claude Opus 5.5 在盲审模式下成功识别并修复了 16 个含缺陷临床网络中的 16 个,仅通过中位数 3 个参数修改实现修复。 该模型在 18 个缺陷网络中准确指出了 16 个错误规则,所有发现均通过约 42 万次请求测试验证,证明小网络中权重空间编程可定位阈值偏移等缺陷。
针对循环 Transformer 中 KV 缓存随循环步长线性增长导致内存瓶颈的问题,LoopVQ 提出一种低于 1 bit 的 KV 缓存向量量化方法,并在 Ouro 和 Huginn 模型上实现 0.5 bit 每元素的精度保持,甚至在 0.25 bit 时结合 TaSQ 仍能保留大部分 BF16 准确率。
针对 LLM 推理解码中通信结构固定的特点,提出负载静态光电路交换(OCS),将电路配置与模型并行化协同设计。 基于 GXNET 模拟器在 576 加速器域评估 5T 参数 MoE 模型,全 OCS 架构较 4:1 超配包交换网络交互性提升 65%,能效提升 119%。
针对大语言模型推理的在线调度问题,研究证明 cμ 优先级规则在流体模型下能最小化累积等待成本,并最大化全程输出 token 吞吐量。 该规则的有效服务速率由计算速度、内存带宽和容量共同决定。在 NVIDIA H800 上对真实推理引擎进行的实验表明,该策略能在保持高吞吐量的同时显著降低平均延迟。
Anchor 模型在 Llama-3.1-8B 和 Mistral-7B 上实现了比 LoLCATs 高 2.3-3.1 倍的召回率和 6.7-8.9 点的 MMLU 准确率提升。
GC-MoE 发布开源 FP8/FP4 MoE 推理算子,利用 CUDA Green Contexts 将 GPU 划分为通信与计算分区,实现 dispatch 与 GEMM 独立并行。
FlagRot 提出了一种选择性旋转方法,用于低比特 KV 缓存。在 2.5 bits/value 下,它将 12 个模型的 KIVI KL 散度从 18.7 降至 12.4 × 10⁻³。 该方法在 9/12 个模型上优于 RotateKV,并在 4 个模型中的 3 个上通过 vLLM 插件提升了 RULER 和 LongBench v1 性能。