BridgeKV:通过 KV 缓存转换实现 LLM 推理的大模型预填充与小模型解码
BridgeKV 提出用大模型进行预填充、小模型进行解码的 LLM 推理方案,通过轻量级 KV-stitching 模块对齐两者缓存。 在六个模型对和五个数据集的 30 种设置中,该方法优于微调小模型基线,弥补至多 80% 的质量差距;Llama-3.1-Instruct-8B 到 Llama-3.2-Instruct-1B 在单卡上实现 3.0 倍加速。
BridgeKV 提出用大模型进行预填充、小模型进行解码的 LLM 推理方案,通过轻量级 KV-stitching 模块对齐两者缓存。 在六个模型对和五个数据集的 30 种设置中,该方法优于微调小模型基线,弥补至多 80% 的质量差距;Llama-3.1-Instruct-8B 到 Llama-3.2-Instruct-1B 在单卡上实现 3.0 倍加速。
智能体推理的每次调用都需重发不断增长的转录,但成本由客户端和服务端两个交易方共同决定,而非模型本身。 该研究定义了精确匹配实测引擎的成本模型:每处理一个token计费为$c$,每对一个注意力对计费为$\beta$。
Hibana 是针对统一内存设备设计的推理引擎,通过模型手术、统一内存管理和自适应推测解码协同优化,支持本地多智能体负载。 在单台 DGX Spark 上运行 125B 参数的 Qwen 和 Nemotron 模型时,Hibana 每小时可完成比 vLLM、NVIDIA Flare、TensorFold 等框架多 3.4 倍的智能体任务,解码吞吐量提升高达 3.9 倍。代码已开源。
美团正式以 MIT 协议开源 LongCat-2.5,该原生多模态模型总参数 1.6 万亿、每个 token 激活约 480 亿参数并支持一百万上下文,面向长程智能体任务在代码开发、Visual Coding 与专业办公场景中端到端交付能力明显提升。
推荐理由:原文详细披露了1.6万亿参数多模态模型在国产算力下的W4A4量化策略与训练细节,展示了在显存受限场景下落地万亿模型的具体工程路径。
作者分享了构建高效 AI 编码智能体(Super LLM Soldiers)的实践方法,重点包括通过定制 Lint 规则和强化无障碍树(A11Y)来优化代码库环境,以及部署本地仿真工具和数据库 MCP 服务以提供上下文支持。摘要强调了利用 Datadog 或 Langfuse 等观测工具以及优化 CI 管道,可帮助智能体在更短时间内更自主地完成复杂任务,显著减少人工干预需求。
FlashStates 提出了解耦循环检查点位置与 KV 缓存边界的方法,实现了细粒度状态重用。在 GLM-5.3-Flash 等模型的测试中,相比 vLLM 提升了最高 3.02 倍的解码吞吐量,并将 P50 首 token 时间降低了 16.3 倍。
企业 AI 应用中,人类判断力比单纯的数据收集更能引导模型输出,避免答案趋向平庸的平均值。 BMW 项目耗时六个月构建数据字典,将分析速度提升 12 倍,证明嵌入专业领域判断能显著增强 AI 可靠性。
菜鸟在香港澳门举行发布会,宣布向AI与具身智能企业开放全球仓网,打造物流实景训练集群,开放零售、3C、航空等数十个行业的物流场景。同时推出“科技出海三日达”服务,提供跨境运输、海外部署、备件补给及返修运维等全链路支持,助力AI硬件与具身智能产品全球化落地。
量子位编辑部实测发现,千问办公2.0通过引入 Team Agent 模式,实现了跨钉钉群聊的项目信息自动归拢、待办任务生成及多端同步。该版本重构了云端自动化引擎,支持在 Word、PPT 及钉钉文档上进行人机共创改稿。相比个人 Agent,其核心价值在于将 AI 深度嵌入团队协作流,解决信息搬运与重复解释问题。
推荐理由:文章通过编辑部实测展示了千问办公2.0如何串联跨群信息与任务流,为判断团队级Agent的实际落点提供了具体参考。
Dots 现可控制除默认云电脑外的多台机器。作者指出,用户可将多台本地电脑连接到同一个 Dots 实例,并针对具体任务选择使用哪一台机器。例如,Dots 可以在专用机器上构建和测试应用程序,同时用户可以在自己的笔记本电脑上继续编写代码。
推荐理由:展示了 Dots 在本地多机与云端之间的任务分发能力,为构建跨设备工作流提供了新的切入点。
在 Ryzen AI Max+ 395 搭配 RTX 5090 硬件上,混合 CUDA 与 HIP 后端使 Maya-M 解码速度达到 69.05 tok/s,相比原生 CUDA+CPU 的 36.80 tok/s 提升显著。
Russ Little 发布 ZTHR,一种用于自主软件交付的模式语言,主张在 AI 生成代码场景下以“零信任”和高可靠性工厂流程取代传统人工代码审查。 ZTHR 核心包含对称零信任原则与 Fixture Inversion 机制,质量不再依赖作者技能,而是由环境中无法被篡改的固定测试夹具验证,仅通过所有检查的产品才会发布。
Rapidus 社长小池淳义宣布,公司计划在现有晶圆厂附近建设 3 座工厂和 1 个研发基地,旨在打造产研一体的半导体产业集群。 Rapidus 的 2nm 制造能力可抑制 AI 普及带来的电力消耗,其先进半导体将应用于 AI 及高性能计算(HPC)领域。 合作伙伴 IBM 已在 Rapidus 晶圆厂所在的千岁市设立办事处,以支持当地相关合作项目。
Nvidia 的 AI 优势已延伸至 GPU 之外的系统编排层,凭借 Vera Rubin 架构确立领先。 该架构包含 Vera CPU 和 Groq 3 LPX 推理加速器,Vera CPU 专注于数据编排,相关操作实现最高 3 倍性能提升。 这表明竞争焦点从单一芯片转向整个数据中心的运行效率,Nvidia 在该层面拥有显著优势。
作者将 Claude Code 等 AI 智能体迁移至非特权虚拟机中以防范供应链攻击和内核漏洞风险,同时通过非特权 Podman 和 Tailscale 实现容器测试与跨设备访问。
AI芯片融资陷入困境,数据中心贷款因GPU技术折旧问题遭投资者折价抛售。ING正寻求甩卖5亿美元数据中心贷款,其中包括支持OpenAI等参与Stargate项目的2500万美元份额。Goldman Sachs和Apollo营销的400亿美元SpaceX芯片融资协议面临考验,Ares Management CEO表示无法为GPU融资的折旧曲线定价,公司将拒绝此类交易。
USB发布v1.0.8,作为AI技能的开源信任层,支持在仓库中发现和安装529个技能至16个运行时。新增secscan和mcprobe命令,分别通过静态比对和运行时握手验证技能与MCP服务器的实际行为,支持CI门禁。
General Compute 与 Cerebras 签署多年协议,计划 2027 年第一季度提供专属推理算力,初期针对智能体编码负载。 通过云服务商获取算力可免除前期巨额投资及部署运营责任,为团队提供更灵活的选项。 对于评估专用推理硬件的团队,需权衡云服务的灵活性、可用性及价格与自持系统的控制力。
Keln 发布基准测试结果,对比了 Fireworks、Together、Baseten、Modal、DeepInfra 和 Z.ai 六家服务商在 DeepSeek V4.1 Flash 和 GLM-5.3 Flash 模型上的表现。
airgap-check 通过静态扫描与 Docker 离线运行,识别 AI 应用隐含的远程依赖。 支持 Python 和 Node.js,能检测 HuggingFace、tiktoken 等库首次使用时因缺少缓存或遥测数据导致的超时。 在 20 个开源仓库测试中,部分离线请求会因重试机制导致数十秒延迟。
NVIDIA Nemotron 3.5 Super VL 已上线 Amazon SageMaker JumpStart,提供 NVFP4 与 BF16 两个版本,接受图像、视频和文本输入并生成文本。
Amazon Bedrock Managed Knowledge Base 新增支持单次 RAG 和仅检索请求,通过 AgenticRetrieveStream 接口实现。 该服务扩展 maxAgentIteration 参数范围至 0-5,支持单次检索生成答案或仅返回原文,无需复杂智能体规划。 单一 API 即可平衡速度与质量,简化应用开发,无需维护分离代码路径。
OpenAI 全球事务主管称数据中心成为公众对企业权力不满的代名词,但实地探访显示反弹核心是电力消耗。 弗吉尼亚州数据中心平均功率达 54 兆瓦,AI 训练目标高达 6000 兆瓦,迫使企业自建天然气发电设施。 行业若忽视物理电网负荷与污染影响,难以缓解社区对巨型数据中心的抵触情绪。
一名律师在 Reddit 分享其用八块 2018 年款二手 Nvidia Tesla V100 GPU 构建的私有 AI 服务器,确保案件文件不离开办公室。
CrossnoKaye 的 ATLAS 和 AURA 系统通过整合 AWS 的 Amazon Bedrock 和 AgentCore 架构,利用软件定义自动化平台连接工厂数据与 AI 推理。AURA 使用独立 Python 沙箱确保计算的可验证性,在多个工业设施中显著提升了生产效率并降低了能源成本,同时通过多层次的安全机制保障工业安全。
ChatGPT Enterprise 现已通过 AWS Marketplace 提供服务。 此举旨在帮助组织利用现有的 AWS 采购与计费关系,简化采购流程。
Anarlog 是一款开源的 Granola 替代方案,通过捕获设备音频在本地生成会议纪要,数据存储在 SQLite 中。 支持 macOS 端侧转录,摘要功能可使用 Claude Sonnet、Ollama 等本地或云端模型。项目采用 MIT 协议,企业组件源码可见。 团队表示正构建新应用 char,Anarlog 继续作为维护中的本地优先工具存在。
Forrester 认为 AI 泡沫暂无破裂风险,主要因构建 AI 算力基础设施的资金约九成来自大型健康科技公司的自有现金流。 其计算显示,基础设施投资需 AI 使美国 GDP 在 2035 年提升 5% 才能实现盈亏平衡。 企业应密切监测供应商的财务健康状况,并对 AI 计划进行压力测试,以应对潜在的市场调整。
Codela 将生产环境错误转化为 AI 编码智能体可读的教训,避免重复故障。 测试显示,接入 Codela 后 Claude Code 在 8 次运行中重复错误率从 8/8 降至 0/8。 支持 Claude Code、Cursor、Codex 及 Datadog、Sentry 等工具集成。
Aleph 发布面向 AI 智能体的声明式编程语言,核心机制是在代码运行前通过静态分析拒绝无限制资源用量的路由。该语言允许多个应用共享同一运行时和数据库,利用 TypeScript 编写并编译为 Rust 引擎执行的清单(manifest),从而降低部署成本并提升安全性。其严格的类型系统和用量边界旨在让 AI 智能体生成的代码更易于检查和修复,减少架构错误。
Anthropic 宣布购买价值 34 亿美元的 Caterpillar 燃气轮机,以解决 AI 算力扩张带来的电力短缺问题。该设备最大可产生 1.7 吉瓦电力,此前设备供应商 OnePWR 因融资困难未能完成采购。
AI 安全社区倡导建立共享计算集群以优化资源利用。当前团队常因缺乏 MLOps 专家而重复下载权重、管理混乱,导致数万刀和数周时间浪费。共享集群可让数十个团队复用基础设施,将时间从环境搭建转向核心研究。
倡议建立 AI 安全共享集群以减少重复基础设施工作。 目前团队常从 RunPod、Vast.ai 临时租 GPU,初期耗费数周配置环境与下载模型权重,且未优化导致周末闲置产生额外费用。 每个项目结束后资源即释放,下个团队从零开始,造成数万 dollars 浪费与研发时间损失。
Hugging Face 提出 HOPE 方法,通过计算专家间高阶交互实现 MoE 模型的精准剪枝。 作为二阶方法,HOPE 在 50% 剪枝率下表现最优,相比次优方法在 agentic coding 任务上提升最高达 6.1%。 该方法无需训练且兼容量化,能有效解决传统一阶剪枝忽视专家协同集群导致的性能衰减问题。
Google 为第八代 TPU 系列新增 TPU 8tx 和 TPU 8i Max,年内首次推出四款 TPU 系统。TPU 8tx 面向机密计算,数据和模型权重在处理期间保持加密和隔离;TPU 8i Max 在单个封装内放置两颗 TPU 8i,使算力、内存和内存带宽加倍。
谷歌推出 TPU 8tx 和 TPU 8i Max 两款 TPU,面向机密计算和超长上下文窗口场景,以拓展 AI 芯片市场。两款产品基于现有芯片重新配置,分别适配政府、金融等受监管客户及药物研发、编程应用;TPU 8tx 将与 AMD 芯片协同工作。
推荐理由:谷歌加快芯片迭代并推出专业版本,原文补充了与英伟达的对比、客户结构以及供应链布局。
该系列通过构建 C++17 和 CUDA 项目从底层解析 LLM 推理,涵盖 12 个视频及 85 页手写笔记。核心实现基于 Llama 3.2 1B 模型,包含 Paged KV cache、静态与连续批处理及 GPU 上的 dense causal prefill 与 decode。
CIQ团队发布了Ginux内核研究报告,展示了一种人类主导的智能体软件工程(HDAE)方法,该内核由单个长期运行的编码智能体任务开发,采用Rust实现,并成功启动Rocky Linux 10用户空间及systemd。
GitHub 在 8 月 17 日发生故障,官方称因容量失败;9 月 GitHub 代码提交量达 73.8 亿次,是去年同期的 5 倍多。由于 AI 智能体频繁推送代码,GitHub 新增 400 万个 CPU 核心仍面临压力,正通过架构调整提升写入能力。
推荐理由:文章把 GitHub 8 月宕机与 73.8 亿次提交放在一起,揭示了 AI 智能体正迫使代码托管的存储与合并架构重写。
Mintigate 发布离线演示包,展示 AI 编码智能体控制层逻辑。模拟智能体向合成文件提出变更,简化运行时依据范围与保护规则决策,独立检查验证结果。 演示无需网络或模型调用,仅需 Node.js 18+,通过退出码区分验证通过、失败或未运行。Mintigate 旨在帮助开发者治理真实智能体工作流,演示不执行专有运行时。