Page-EntroKV: 分组查询注意力下硬件对齐的熵加权 KV-Cache 驱逐
Page-EntroKV 提出了一种在分组查询注意力(GQA)物理粒度下运行的大语言模型 KV-Cache 驱逐框架。该方法通过隔离熵加权消除汇聚头干扰,在 Qwen2.5-1.5B-Instruct 模型上将并集开销比(UOR)稳定在 1.000,并在 20% 预算下实现 100% 的关键信息召回。
Page-EntroKV 提出了一种在分组查询注意力(GQA)物理粒度下运行的大语言模型 KV-Cache 驱逐框架。该方法通过隔离熵加权消除汇聚头干扰,在 Qwen2.5-1.5B-Instruct 模型上将并集开销比(UOR)稳定在 1.000,并在 20% 预算下实现 100% 的关键信息召回。
SlimKV 提出一种联合 Token-特征 KV 缓存压缩方法,通过低秩感知训练将长上下文压缩为隐式 KV 表示,并利用位置不对称性实现解码时潜在空间注意力。
研究提出前缀证书保留(PCR)方法,解决前缀缓存服务中独立优化缓存块导致的高估问题。PCR将可用的前缀奖励建模为节点,通过最大权闭包转化为单次最小割问题,其图规模与块查找数和超时选择数呈线性关系。在39,632个公开Mooncake请求的时间重放测试中,有序超时在120个固定网格的分组定价案例中,有118个达到了无限制训练的最优值。
SpAx 利用激活稀疏性与权重近似技术加速大语言模型离线解码。该方法在权重卸载至 CPU 内存时,16 位权重平均提速 3.86 倍,4 位权重平均提速 2.06 倍,WikiText-2 困惑度增加不超过 10%。在闪存存储场景下,16 位权重平均提速 3.31 倍,4 位权重平均提速 1.54 倍。
MaskCoFT 通过掩码协同自适应微调,使 MoE 模型的路由器与专家参数共同适应路由变化,提升内存受限下的推理效率。
FastKernels 基准测试包含 384 个任务,足以重新实现 94.6% 的 HuggingFace Transformers 架构。在评估 5 个代表性 Agent 时,发现 1.6-6.6 倍的 Kernel 级加速在端到端测试中缩减至最高 1.25 倍,且仅 20% 的优胜 Kernel 集合能直接正确运行。
该研究提出 Dynamic Expert Pruning (DEP) 方法,利用智能体系统提示词和任务提示词通过轻量级预测器生成每请求的专家掩码,取代静态剪枝方案。
该框架将 MoE 专家权重压缩为硬件原生低精度稀疏表示,支持 30B 至 1 万亿参数模型。相比最先进联合稀疏量化方法,精度提升最高 4.35 个百分点,保留 96.09% 原始性能。在 NVIDIA B200 上,吞吐量提升 1.18 倍,端到端延迟降低最高 4.03 倍。
提出 Matryoshka Residual Vector Quantization (MRVQ) 后验残差量化器,单一常驻索引支持维度与比特率弹性向量搜索。在 FiQA 等数据集上,MRVQ 比单独训练的 QINCo2 索引节省 17.8-22.0 倍内存,且内存占用低于 PQ 等基线。MRVQ 是弹性检索的低内存操作点,并非通用质量优胜者。
研究通过智能体混合(Mixture-of-Agents)方法测量了生成单个 token 所需的充足计算量。实验显示,在 0.5B 规模下可复现 92-95% 的参考 token,最昂贵的 10% token 占预估 FLOPs 的 64-80%。利用该地图优化模型路由可将 MATH-500 问题的预计延迟从 7.59 秒降至 5.12 秒,并使草稿 token 使用量减少 32.6%。
美团推出面向本地生活场景的AI数字人直播解决方案“美团智播”,过去一年月日均GTV同比增长82.12%,月日均观看人次同比增长163.44%。 该方案支持30秒生成直播素材、3分钟完成开播配置,并实现7×24小时稳定上播,成功打通从技术落地到规模化商业闭环。
uniopen 团队通过在 Amazon SageMaker AI 上进行监督微调及提示词优化,将 Amazon Nova 2 Lite 定制为符合其特定零售业务的审核模型。
关于我们与 Cerebras 的合作关系存在一些猜测。 Cerebras 是密切的合作伙伴,我们正深度合作推动速度前沿。
NVIDIA DGX Spark 64GB 将于 10 月 23 日通过 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 发布,起价 4,999 美元,支持 DGX OS、CUDA-X AI 和 Ollama、vLLM、PyTorch 等本地 AI 软件栈。
Microsoft Research 团队开发的机器学习管道通过整合太阳风观测数据与地质因素,为美国大陆 66,935 座变电站生成位置特定的风险估计。该系统能在特定风险出现前 30 到 60 分钟向电网运营商发出预警,并在评估期间检测出近 80% 的重大空间天气事件。
贵州CA 推出安界信 V1.0 平台,集成 Qoder Cloud Agents 实现可信 AI Agent 全生命周期治理。安界信负责数字证书签发与审计,Qoder 承载执行、工具与模型能力,支持 Sandbox 隔离与 SSE 流式对话。平台已接入多个智能体,旨在解决政企客户在身份信任、过程控制与结果审计方面的顾虑。
DeepSeek 正式开源面向华为昇腾算力平台的基础设施组件,涵盖 TileLang、DeepGEMM、DeepEP 等,与此前英伟达平台组件一一对应。TileLang 昇腾版本封装 Ascend C 指令,支持 DeepSeek V4 系列模型训练中大部分算子的高性能实现,相关项目链接已同步发布于 GitHub。
推荐理由:开源昇腾平台适配的 TileLang 与核心计算组件,为构建自主可控 GPU 软件生态提供可直接复用的基础工具。
阿里 Qoder 技术负责人谢吉宝在云栖大会发布产品升级,定位为 Agentic Coding Platform for Everyone。升级涵盖全双工语音交互、升级版 Computer Use、移动端及多模态设备连接,并推出云端 Cloud Agents 和数字员工 QoderWake。
推荐理由:演讲展示了 Qoder 在语音交互、云端数字员工及工程知识引擎方面的具体升级,为理解 Agentic Coding 的演进提供了产品视角。
Mistral 宣布在德国慕尼黑开设新枢纽,该中心将容纳专注于物理 AI(Physics AI)和工业 AI 的专职研发团队,直接服务欧洲合作伙伴。此举标志着 Mistral 在获取 Emmi AI 后,正式将物理流体和力学模拟能力整合进其在欧洲的核心业务线。
Kimi API 升级支持上下文缓存,提供 5m 和 1h 两档缓存时长(TTL)供开发者选择。以 Kimi K3 为例,缓存命中价格仅为未命中的 1/10,即 ¥2 / 1M tokens,比未命中少 ¥18 / 1M tokens。该功能自动启用,无需改造现有请求,旨在降低文档问答、编程智能体等高频调用场景的成本。
海马云自研 RH Upscale 视频超分模型全球首发,并全面接入 RunningHub 平台。在 13 个参测配置中,RH Upscale Ultra 以 0.539 分取得综合质量第一,Max 模式 5-10 秒视频 2 倍超分平均耗时 34 秒。该模型提供五档处理模式及 API 调用,适用于 AI 生成视频、实拍素材等多种场景的画质增强。
云栖大会期间,阿里云展示了AI全栈创新成果并达成多项行业合作。荣耀Magic9系列将首批搭载Qwen Intelligence,实测综合任务准确率91.8%。平安日均Token用量增至超3000亿,单位Token成本下降76%,30多家车企已在阿里云开展研发。
GitHub Copilot 应用重构 Pull Request 视图,以支持包含 2,200 个文件、超 100 万行变更和 400 条评论的超大审查场景。系统采用虚拟列表与双几何架构,区分确定性代码行与动态评论块,实现高效渲染。
阿里云百炼 Token Plan 个人版自 9 月 22 日起取消 7 天限额,改为每月 30 天统一刷新额度。 Lite、Essential、Standard 及 Pro 四档套餐价格与折扣保持不变,存量用户在规则切换当天自动重置为对应套餐的满月额度。 订阅周期内未使用的额度不结转至下一周期,额度用尽后需购买用量包或等待新周期开始。
阿里发布AI手机全栈解决方案Qwen Intelligence,提供规划、操作和创意三类Agent。在MobilePA-Bench、MobileWorld等评测中处于前列,首图生成提速2倍,并与荣耀合作落地真实手机场景。
推荐理由:原文给出了全栈解决方案与三项Agent实测数据,读者可以据此判断手机Agent的落地边界与性能标准。
Qwen 团队开展两项生产级实验:Qwen3.8-Max 自主完成 NoC 模块的 RTL 编码与物理实现,并独立将 Qwen3.8-Flash-Next 适配至真武 M890 芯片。芯片设计中,模型运行超 60 小时完成全流程,使模块面积降低 42%、功耗降低 59.5%。推理适配中,模型 56 小时完成优化,长文本 TTFT 降低 47%,单实例吞吐提升 96%。
推荐理由:展示了 Qwen 在芯片设计端侧与推理端侧双向闭环中自主调用工具完成 RTL 优化及推理栈调优的工程路径。
阿里云百炼 Agent Studio for Hardware 平台在 2026 云栖大会 1 号馆展示雷鸟 iO AI 眼镜、二元魂 AI 潮玩及希沃学习机。 该平台提供全双工语音交互等能力,端到端延迟低至 1 秒,通过 SDK 覆盖 Android、iOS 等系统及 30 多个芯片平台。 目前已有 500 多家合作伙伴通过该平台完成智能化升级。
MiniMax 展示其在全球落地的六个合作伙伴案例,包括新加坡新电信的 AI 课程、日本《足球小将》IP 授权、硅谷 Genspark 的 PPT 生成模型等。 Humain-M3 基于 M3 训练,在七项阿拉伯语基准测试中平均得分 89.37%。M3 成为 Nebius Token Factory 首个专属合作的开源模型。
硅基流动上线腾讯混元 Hy4 preview 模型,该模型在 Terminal Bench 2.1 等基准的部分指标达到 Claude Opus 5 水平。平台提供 1M 上下文长度,缓存命中 0.3 元/M tokens,输入 6 元/M tokens,输出 18 元/M tokens。目前可通过硅基流动 API 接入,支持主流开发工具调用。
和睦家医疗基于豆包工作搭建 OncoCare,通过 19 个标准化方案模板实现到院当天的方案确认与报价生成。疗程间系统每日同步 7 项关键检验指标,生成可视化时间线以辅助医生判断下一疗程时机。搭配协同看板与飞书数字助理,将院内 HIS 与院外管理衔接,形成完整的患者管理图谱。
Cloudera 与 Mistral 宣布建立合作伙伴关系,旨在为金融、制造等受监管行业的客户提供主权 AI 解决方案。该合作允许企业在私有云、本地及隔离环境中运行 Mistral 模型进行推理,并支持利用专有数据训练定制模型。Mistral 计划将其主权 AI 引入 Cloudera 平台,后者管理着 30 exabytes 的客户数据。
RunningHub开源MiniMax H3 Lightning加速方案,使视频生成速度提升12倍,5秒视频耗时从348.8秒降至28.7秒,且保留BF16精度。 该方案通过三层加速技术叠加,在8张NVIDIA RTX 6000D显卡上实现本地部署,并已在GitHub提供复现指南。
阶跃星辰产品负责人陶炳哲在 AGNTCon + MCPCon China 2026 分享智能路由实践,指出路由对象应是“模型 + harness”组合。在自建 Benchmark 上,Step Router V1 带来约 15% 能力提升,开发者可通过 Step Plan 接入以平衡能力与成本。
推荐理由:作者以产品负责人身份解析智能路由,通过成本分析与路径对比,为工程落地提供决策参考。
LMSYS 团队发布 Infer-forge 系统设计文档,阐述如何围绕 SGLang 构建推理工程 Harness、Task Loop 和 Task Graph。
阿里百炼发布 Qwen Audio 移动端 SDK,这是一款基于 C++ 核心、覆盖 Android、iOS 及 HarmonyOS 三端的语音 AI 开发套件。
腾讯混元团队发布 Hy4 preview 轻量版,通过 Sherry 稀疏量化和 MIX-STQ1_0 混合精度策略将模型权重从 1.5 TB 压缩至 214 GB,降低硬件门槛。
推荐理由:原文展示了如何通过稀疏量化与混合精度策略将模型权重压缩至214GB,并验证了异构设备联合推理的可行性。
Mistral 宣布推出 Mistral Regional Endpoints(区域推理端点,GA 阶段)和 Mistral Priority Tier(优先级服务层级,公测阶段),允许客户选择在欧洲或美国运行推理以满足数据驻留与合规要求,并为首批关键工作负载提供附带正常运行时间 SLA 的定制速率限制。
推荐理由:原文介绍了区域推理端点、第三方开源模型接入及欧洲算力联盟计划,展示了Mistral构建主权AI基础设施的具体功能与服务层级。
Baseten 正式成为 Hugging Face Hub 支持的推理提供商,首批支持 Kimi K3、DeepSeek V4 Flash 和 GLM-5.2 等开源 LLM 的对话与文本生成任务。PRO 用户每月可获得价值 $2 的推理积分,通过 HF 路由的请求按提供商标准 API 费率计费且无额外加价。
研究团队扩展 K-Search 框架,通过结构化 CUDA-MLX 翻译层将 NVIDIA 内核优化知识迁移至 Apple Silicon。在 Attention 内核上实现原生 MLX 内核 0.97 倍加速,Mamba SSM 内核预填充较社区版本提速 20 倍,并开源了 MLX 后端代码。
Xiaomi MiMo-V2.5-Pro 联合 TileRT 发布 UltraSpeed 模式,首次让 1T 模型在 8 卡通用 GPU 节点上输出速度突破 1000 tokens/s。
推荐理由:万亿参数 MiMo 在通用 GPU 上突破 1000 tokens/s,文中展示了 FP4 量化与 TileRT 协同设计的工程路径。