跳到正文
11月17日周二
  1. Hacker News AI47

    Vidai 发布企业级 AI 治理基础设施

    Vidai 推出名为 Control room 的企业 AI 治理平台,通过单一配置变更实现成本、合规与数据治理。 平台在 Rust 中实现,单 CPU 核心处理量比 Python 方案高 94 倍,中位延迟仅 0.58ms。 支持 EU AI Act 等法规自动映射,并实时检测 77 种个人数据以保护隐私。

  2. Hacker News AI47

    AgentGUI:观察和操控 AI 智能体的人机友好界面

    AgentGUI 是一个观察和操控 AI 智能体的人机友好界面,支持 Hermes 和 Claude Agent,每个任务表现为办公室里的智能体,点击可查看实时活动、文件树、终端和调试信息。 v1.1.0 版本新增 Claude 模型支持、子智能体可视化、研究任务模板和 GPU 服务器支持,支持 Ollama 和 vLLM 后端,已获 EMNLP 2026 接收。

  3. Seven Minute Feed72

    美国限制AI芯片远程访问,中国AI开发商股价承压

    亚洲科技股在美国出台远程访问规则后周二下跌。港交所上市的Z.ai最多下跌6%,从高点累计下跌85%;阿里巴巴下跌6%,腾讯下跌3%。国产芯片厂商走强,中芯国际上涨9%,华虹半导体上涨16%。Kioxia下跌7%,Advantest下跌6%,三星和SK Hynix最多下跌3%。市场分化显示该规则在损害租用海外算力的模型开发商的同时,利好本地硬件供应链。

  4. arXiv · AI32

    SplitZip:用于 LLM 分离式推理的超快速无损 KV 缓存压缩方案

    SplitZip 是一种针对 LLM 分离式推理中 KV 缓存传输瓶颈设计的 GPU 友好型无损压缩器,可在不修改模型执行逻辑的前提下实现位级保真传输。 其利用 KV 激活值中浮点数指数的冗余性,采用校准过的 Top-16 指数码本结合固定长度编码与稀疏逃逸流机制。在 BF16 张量上实现 613.3 GB/s 压缩吞吐,端到端传输速度提升最高 1.32 倍。

  5. arXiv · AI33

    长输出 LLM 服务中的抢占优化:Stint 系统

    论文提出 Stint 系统,解决推理 LLM 长输出场景中 KV 缓存因内存不足导致的频繁抢占(KV thrashing)问题。 通过 CPU 连续池存储固定长度 KV 快照、年龄-based 重新准入及剩余长度估计选优,Stint 在 Qwen3-32B 上使无请求暂停超 50 秒,p99 输出 token 时间降低 50.7%,整体完成时间缩短 10.7%。

  6. arXiv · AI22

    CAIGA 企业 AI 治理架构:AI 治理委员会与首席伦理官的角色演变

    针对不足半数董事会将 AI 治理列为优先事项的机构缺乏正式框架的现状,论文提出由首席伦理官与跨职能 AI 治理委员会共同构成的 CAIGA 架构。 该架构参考欧盟 AI 法案及金融服务业实践,嵌入清晰的责任政策、结构化风险管理流程及伦理文化,旨在将伦理原则转化为运营决策。 此架构为应对全球 AI 监管快速变化提供了可复制的参考,适用于企业领导者与政策制定者。

  7. arXiv · ML21

    量化草稿 KV Cache 实现内存高效投机解码

    研究提出通过量化草稿 KV Cache 降低投机解码的额外内存占用,目标模型缓存保持 BF16 精度以确保最终校正规则不变。 基于 KIVI 原则采用 K4V4 量化方案(key 按通道、value 按 token),在 6 个模型对上将草稿缓存内存减少 66.20%,总内存减少 23.95%,平均接受率仅下降 1.36% 相对值。

  8. arXiv · ML23

    DEVL框架:无训练流式推理,实现离线ASR模型实时转写且无精度损失

    研究团队提出DEVL框架,这是一种无需训练的流式推理方法,允许离线ASR模型在用户停止说话后快速返回高精度转写。 该方法将部分转写作为草稿,在回合结束时通过单次前向传播验证,确保最终结果在精确算术下与离线贪心输出完全一致。 在包含Qwen3-ASR-1.7B的五模型对比中,95%-100%的最终转写与离线结果字节级相同,WER偏差小于0.13分,且单流最终响应速度提升1.5至7.3倍。

  9. arXiv · AI23

    气电厂控制逻辑LLM助手的部署经验:来源权威性与有界检索

    在两座燃气电厂部署的控制系统显示,采用VLM从PDF重建拓扑的提取精准度仅为0.51,且在4块H200 GPU上耗时3.1小时。 后续测试表明,将LLM工具调用代理替换为显式执行计划后,token使用量降低20倍,中位延迟缩短3倍,且检索节点集保持一致。 该设计将本地LLM限制在意图分类和解释上,利用确定性软件处理基于权威来源的技术证据检索与构建。

  10. arXiv · ML28

    深度循环语言模型的架构设计与 KV 重放机制

    针对深度循环模型在自回归解码中内存随深度增长的问题,研究提出结合架构调整与缓存共享以降低内存成本。 具体包括构建循环混合架构、Parcae 风格专用循环工作区,以及引入循环 KV 重放机制,仅允许选定迭代写入 KV 状态供后续复用。 研究发现循环混合架构对注意力锚点频率和循环混合器性能敏感,且循环 KV 重放能在保持性能接近全量缓存基准的同时实现跨迭代共享。

  11. arXiv · AI27

    DH-BPR:基于 LLM 的数据驱动启发式业务流程再造框架

    DH-BPR 框架结合 LLM 与规则技术,通过事件日志自动检测并应用业务流程再造启发式规则,最终输出优化后的 BPMN 模型及资源模型。 该框架实现了从用户驱动向数据驱动的转变,支持联合设计与记录应用计划。基于合成基准及两个真实事件日志的模拟评估显示,该框架将平均案例完成时间最多缩短 61.5%。

  12. arXiv · NLP40

    大语言模型助力 AI 基础设施:全生命周期综述与跨研究定量综合

    本文系统综述了大语言模型(LLM)在 AI 基础设施全生命周期中的应用,涵盖加速器设计、内核工程、编译、部署、运维、数据管理及能效优化。 文章按 LLM 管理的主要资源构建分类法:面向产物的计算方法、面向运行的部署/系统状态方法,以及面向资源的数据与能效方法。

  13. arXiv · NLP35

    基于生成式 AI 的全屋智能服务架构:边缘模型、记忆管理与家居应用

    该论文提出以家庭本地服务器为核心的设计导向综述框架,梳理了生成式 AI 在全屋智能服务中的应用架构。 框架识别出本地服务器的九项职责,生成模型负责感知与意图理解,确定性验证及授权租约限制动作风险。 现有基准测试依赖虚拟环境,无法替代真实部署评估;本地部署本身不必然更安全。

  14. IT之家40

    PFN 官宣 MN-Core L2000 延续垂直堆叠路线,目标内存带宽倍增

    日本 AI 初创企业 PFN 宣布,其 AI 推理加速器 MN-Core L2000 将延续垂直堆叠逻辑芯片与 DRAM 的产品路线。 L2000 目标实现初代 L1000 两倍以上内存带宽,旨在提升推理速率与能效。L1000 峰值 FP8 算力 200 TFLOPS,集成 32GB 片上内存。 L1000 计划 2027 年发布,L2000 将于 2027Q1 完成芯片设计。

  15. IT之家78

    英特尔 350W 新卡 D270 性能发布,金融算力较英伟达 600W 加速卡提升 5.9 倍

    英特尔在 11 月 16 日公布数据中心 GPU D270 的性能数据。这款功耗 350W 的加速卡在特定金融计算测试中的应用吞吐量,最高达到 600W 英伟达 RTX PRO 6000 Blackwell 服务器版的 5.9 倍。

    推荐理由:英特尔公布 D270 详细规格和 HPC 性能数据,为评估 350W 低功耗 GPU 在金融计算场景的性价比提供依据。

  16. Hacker News LLM41

    Evolving Infra:面向智能体自适应的大规模 LLM 推理服务框架

    Evolving Infra 是一个智能体自适应 LLM 推理服务框架,通过解耦计算分配与 KV cache 管理,使节点能在 prefill 和 decode 间高效切换。在最高 256 GB300 GPU 集群上运行 GLM-5.2 和 Kimi K2.6 时,相比 Dynamo,其平均端到端请求延迟降低最多 4.1 倍,P95 TTFT 降低最多 14 倍。该系统已开源。