Vidai 发布企业级 AI 治理基础设施
Vidai 推出名为 Control room 的企业 AI 治理平台,通过单一配置变更实现成本、合规与数据治理。 平台在 Rust 中实现,单 CPU 核心处理量比 Python 方案高 94 倍,中位延迟仅 0.58ms。 支持 EU AI Act 等法规自动映射,并实时检测 77 种个人数据以保护隐私。
Vidai 推出名为 Control room 的企业 AI 治理平台,通过单一配置变更实现成本、合规与数据治理。 平台在 Rust 中实现,单 CPU 核心处理量比 Python 方案高 94 倍,中位延迟仅 0.58ms。 支持 EU AI Act 等法规自动映射,并实时检测 77 种个人数据以保护隐私。
AgentGUI 是一个观察和操控 AI 智能体的人机友好界面,支持 Hermes 和 Claude Agent,每个任务表现为办公室里的智能体,点击可查看实时活动、文件树、终端和调试信息。 v1.1.0 版本新增 Claude 模型支持、子智能体可视化、研究任务模板和 GPU 服务器支持,支持 Ollama 和 vLLM 后端,已获 EMNLP 2026 接收。
HSBC 以大幅折价出售了约 3 亿美元的新墨西哥州问题数据中心项目贷款份额。 Pimco 预计随着数据中心建设放缓限制发行,AI 相关债券利差将收窄;BlackRock 警告建设放缓将冲击实体经济。 此举标志着围绕 AI 基础设施债务的焦虑正在加深。
由哈佛大学主导的研究在《Nature Sustainability》发表,利用卫星图像核实了403座美国超大规模数据中心。估算显示,这些数据中心在2024年5月至2025年4月期间消耗了美国约2%的电力,且主要能源仍来自化石燃料。
亚洲科技股在美国出台远程访问规则后周二下跌。港交所上市的Z.ai最多下跌6%,从高点累计下跌85%;阿里巴巴下跌6%,腾讯下跌3%。国产芯片厂商走强,中芯国际上涨9%,华虹半导体上涨16%。Kioxia下跌7%,Advantest下跌6%,三星和SK Hynix最多下跌3%。市场分化显示该规则在损害租用海外算力的模型开发商的同时,利好本地硬件供应链。
SplitZip 是一种针对 LLM 分离式推理中 KV 缓存传输瓶颈设计的 GPU 友好型无损压缩器,可在不修改模型执行逻辑的前提下实现位级保真传输。 其利用 KV 激活值中浮点数指数的冗余性,采用校准过的 Top-16 指数码本结合固定长度编码与稀疏逃逸流机制。在 BF16 张量上实现 613.3 GB/s 压缩吞吐,端到端传输速度提升最高 1.32 倍。
扩散模型后训练量化(PTQ)框架 Chameleon 提出将数值格式作为动态变量,在固定位宽下按权重通道、激活层及时间步桶动态选择量化格式,以优化内存受限加速器上的推理效率。
Nemotron 3.5 Transcribe 开源语音识别模型的高吞吐推理引擎在 H100 SXM 上峰值达 4,345x 实时,是调优 vLLM 的 1.39 倍,B200 上峰值 6,367x。
SWAN-Rx 在固定子载波间隔下,前向传播计算量随带宽线性增长,支持跨带宽和信道条件的冻结权重复用。 该接收器在 273 PRB 测试中,比 NRX 和 DeepRx-MIMO 基线分别减少 16.9% 和 39.7% 的参数,前向操作分别减少 56.3% 和 35.7%。
研究构建了 Apple Neural Engine (ANE) 的预测性能耗 Roofline,修正了单一带宽假设,发现 ANE 存在快慢两条有效内存带宽路径。
基准测试显示,在双 NVIDIA DGX Spark GB10 系统上,使用 vLLM 进行张量并行(TP=2)可使峰值吞吐量中位数提升 1.59 倍,优于流水线并行(PP=2)的 1.39 倍增益。
论文提出 Stint 系统,解决推理 LLM 长输出场景中 KV 缓存因内存不足导致的频繁抢占(KV thrashing)问题。 通过 CPU 连续池存储固定长度 KV 快照、年龄-based 重新准入及剩余长度估计选优,Stint 在 Qwen3-32B 上使无请求暂停超 50 秒,p99 输出 token 时间降低 50.7%,整体完成时间缩短 10.7%。
针对不足半数董事会将 AI 治理列为优先事项的机构缺乏正式框架的现状,论文提出由首席伦理官与跨职能 AI 治理委员会共同构成的 CAIGA 架构。 该架构参考欧盟 AI 法案及金融服务业实践,嵌入清晰的责任政策、结构化风险管理流程及伦理文化,旨在将伦理原则转化为运营决策。 此架构为应对全球 AI 监管快速变化提供了可复制的参考,适用于企业领导者与政策制定者。
summary_zh: MiSTiQ 是一种结合 Trellis 编码存储与 Microscaling(MX)格式的新型 KV 缓存量化方案,在 Llama3 和 Qwen3 上以约 1.25 有效位/元素实现比基线更低的 WikiText 困惑度和更高的 GSM8K 准确率。
Lasso 利用 Intel QAT 加速器实现多模态 AI 内容检测,文本检测平均准确率 82%,速度提升 83,784 倍,能耗降低 99%。 检测延迟低至 0.74 微秒,支持文本、视频、代码和图像全模态检测,在无监督场景下表现优于现有基线。
针对工业数字孪生中机理模型与数据驱动方法的融合难题,研究提出DNA双螺旋层级深度交互网络架构。 DNA通过互增强机制将两类建模方式紧密交织,并支持多阶段建模复杂系统。 在两个工业系统评估中,相比最强基线,DNA的MAE分别降低3.704%和3.175%。
研究提出通过量化草稿 KV Cache 降低投机解码的额外内存占用,目标模型缓存保持 BF16 精度以确保最终校正规则不变。 基于 KIVI 原则采用 K4V4 量化方案(key 按通道、value 按 token),在 6 个模型对上将草稿缓存内存减少 66.20%,总内存减少 23.95%,平均接受率仅下降 1.36% 相对值。
移除 122B 参数 MoE 推理模型 75% 路由专家后,LiveCodeBench 循环问题从 0 增至 44 个。 B 方法通过加载 rank-8 训练适配器恢复每层 2 个专家,在预注册测试中解出 116 题(+9.2 pp),显著优于未修复基线。
研究团队提出DEVL框架,这是一种无需训练的流式推理方法,允许离线ASR模型在用户停止说话后快速返回高精度转写。 该方法将部分转写作为草稿,在回合结束时通过单次前向传播验证,确保最终结果在精确算术下与离线贪心输出完全一致。 在包含Qwen3-ASR-1.7B的五模型对比中,95%-100%的最终转写与离线结果字节级相同,WER偏差小于0.13分,且单流最终响应速度提升1.5至7.3倍。
在两座燃气电厂部署的控制系统显示,采用VLM从PDF重建拓扑的提取精准度仅为0.51,且在4块H200 GPU上耗时3.1小时。 后续测试表明,将LLM工具调用代理替换为显式执行计划后,token使用量降低20倍,中位延迟缩短3倍,且检索节点集保持一致。 该设计将本地LLM限制在意图分类和解释上,利用确定性软件处理基于权威来源的技术证据检索与构建。
针对深度循环模型在自回归解码中内存随深度增长的问题,研究提出结合架构调整与缓存共享以降低内存成本。 具体包括构建循环混合架构、Parcae 风格专用循环工作区,以及引入循环 KV 重放机制,仅允许选定迭代写入 KV 状态供后续复用。 研究发现循环混合架构对注意力锚点频率和循环混合器性能敏感,且循环 KV 重放能在保持性能接近全量缓存基准的同时实现跨迭代共享。
DH-BPR 框架结合 LLM 与规则技术,通过事件日志自动检测并应用业务流程再造启发式规则,最终输出优化后的 BPMN 模型及资源模型。 该框架实现了从用户驱动向数据驱动的转变,支持联合设计与记录应用计划。基于合成基准及两个真实事件日志的模拟评估显示,该框架将平均案例完成时间最多缩短 61.5%。
研究提出基于间隔正则化的微调方法,在 GSM8K 数据集上将 Token 翻转率降低 35%,分歧率从 53.8% 降至 38.1%。 该方法通过惩罚模型 top-1 与 top-2 logit 间隔至噪声分位的两倍,代价是准确率损失 1.3 至 2.9 分,且不影响确定性所需的 logit 间隔阈值。
针对 NVFP4 精度不足,研究提出梯度引导量化方法 FlipQuant。 通过端到端梯度学习二进制格式映射,支持 SM100 硬件原生内核,GEMM 开销中位数为 1.7%。 在 6 个语言模型测试中,FlipQuant 平均闭合了 NVFP4 与 BF16 之间 42.5% 的困惑度差距。 ```
MeltKV 提出内存对齐变比特打包向量量化框架,用于压缩长上下文 LLM 的 KV 缓存。 该框架通过自适应分配分组 Key 通道的比特宽度并共享 Head 级码本,将 KV 表示压缩至 sub-4-bit 至 1 bit 水平。 在可比困惑度下,MeltKV 较 SOTA VQ 方法降低 48.1% 内存使用率和 52.9% 推理延迟。
SpecRelay 提出边缘-云 LLM 推理系统,通过异步验证和 Latency-Aware Router 优化 RTT 开销。 在 250 ms 额外往返延迟且精度匹配的情况下,相比同步基线,SpecRelay 在 SPROUT 和 OlympiadBench 上实现 1.95x 和 1.55x 吞吐量提升,同时仅将 47% 和 39% 的查询发送至云端。
研究者提出 Multi-Branch Transformer (MBT) 架构,通过并行组合全 Transformer 分支,在 0.8B 至 2.1B 参数规模下优于标准 Transformer。
本文系统综述了大语言模型(LLM)在 AI 基础设施全生命周期中的应用,涵盖加速器设计、内核工程、编译、部署、运维、数据管理及能效优化。 文章按 LLM 管理的主要资源构建分类法:面向产物的计算方法、面向运行的部署/系统状态方法,以及面向资源的数据与能效方法。
针对google/gemma-3-12b-it模型,结合量化与重排序可保持WMT翻译任务质量。 研究使用int8/fp8格式无损失,int4留残余;最佳4选1重排序器提升8/4位系统表现。
该论文提出以家庭本地服务器为核心的设计导向综述框架,梳理了生成式 AI 在全屋智能服务中的应用架构。 框架识别出本地服务器的九项职责,生成模型负责感知与意图理解,确定性验证及授权租约限制动作风险。 现有基准测试依赖虚拟环境,无法替代真实部署评估;本地部署本身不必然更安全。
作者提出在SOC 2 Type II、ISO 27001、GDPR和欧盟AI法案下,组织采用AI需回答的七个通用问题:清单、数据流、供应商审查、访问控制、日志、责任人、时间证据。
Marvell 与 Penguin 联合推出业界首款多机架光学 I/O 内存池 MemoryAI Photonic Appliance,支持多个 XPU 通过光学 I/O 共享 HBM 级内存带宽。
日本 AI 初创企业 PFN 宣布,其 AI 推理加速器 MN-Core L2000 将延续垂直堆叠逻辑芯片与 DRAM 的产品路线。 L2000 目标实现初代 L1000 两倍以上内存带宽,旨在提升推理速率与能效。L1000 峰值 FP8 算力 200 TFLOPS,集成 32GB 片上内存。 L1000 计划 2027 年发布,L2000 将于 2027Q1 完成芯片设计。
美国数据中心当前用电量已超过中等国家总量,直观体现了AI基础设施的能源消耗规模。 文中指出随着新模型、智能体及功能增加,电力正取代算力成为核心瓶颈,引发了关于电网承载能力及AI公司自建电源方案的讨论。 这将影响能源分配优先级及成本结构。
英特尔在 11 月 16 日公布数据中心 GPU D270 的性能数据。这款功耗 350W 的加速卡在特定金融计算测试中的应用吞吐量,最高达到 600W 英伟达 RTX PRO 6000 Blackwell 服务器版的 5.9 倍。
推荐理由:英特尔公布 D270 详细规格和 HPC 性能数据,为评估 350W 低功耗 GPU 在金融计算场景的性价比提供依据。
NVIDIA 在 SC26 推出 DGX Spark 开发者套件,这是由 4 个节点组成的集群,配备 GB10 Grace Blackwell 超级芯片。 该套件提供 512GB 总内存和 16TB NVMe 存储,支持使用 NVFP4 技术部署最高 700B 参数的模型,无需交换机即可通过 ConnectX-7 网络连接。
CopySpeech 是一款支持剪贴板双重复制触发 AI 语音朗读的工具,默认使用本地 Kokoro 引擎,也兼容 OpenAI 和 ElevenLabs 等云端 API。该工具具备实时字幕、0.25×–4× 变速及文本清理功能,并支持通过浏览器伴侣和 Hermes 插件扩展使用,最新稳定版本为 0.3.0。
Marlow 是一款允许用户将 AI 应用部署到自有服务器的构建工具。 其核心功能在于支持私有化部署,而非依赖云端托管。
RightNow 推出开源模型推理服务,优化至 GPU kernel,支持 DeepSeek、GLM、Qwen 等模型。
Evolving Infra 是一个智能体自适应 LLM 推理服务框架,通过解耦计算分配与 KV cache 管理,使节点能在 prefill 和 decode 间高效切换。在最高 256 GB300 GPU 集群上运行 GLM-5.2 和 Kimi K2.6 时,相比 Dynamo,其平均端到端请求延迟降低最多 4.1 倍,P95 TTFT 降低最多 14 倍。该系统已开源。