WAKMan:一种工作负载感知的 KVCache 管理器
在20种混合流量场景中,没有单一KV缓存驱逐策略始终最优,WAKMan 作为工作负载感知管理器,通过实时流量自动选择策略,平均命中率比 LRU 高5个百分点。该方案无需识别请求类型或读取提示词,具备最低的均值和最差情况优化差距。
在20种混合流量场景中,没有单一KV缓存驱逐策略始终最优,WAKMan 作为工作负载感知管理器,通过实时流量自动选择策略,平均命中率比 LRU 高5个百分点。该方案无需识别请求类型或读取提示词,具备最低的均值和最差情况优化差距。
针对 GPU 集群成本高且队列延迟长的问题,研究团队通过开发基于 Nvidia DCGM 的轻量级监控工具,以 100ms 粒度深度分析了某大学集群的 10 天运行数据。
作者建立了一个开源实验室,用于测量 AI 编码代理沙箱的安全性。每个沙箱都宣称能阻止代理读取密钥、访问网络或植入 git hook,该仓库将这些宣称转化为任何人可执行的契约,并记录在不同沙箱上运行这些契约的结果,以便在相同的测试下进行比较。
该仓库发布了一套可视化讲解系统,追踪一次 LLM API 请求从代码到 GPU 再返回的全流程,并展示各环节耗时。项目包含完整视频(4K,5分18秒)、2D 与 3D 宣传片及短视频,使用 Playwright 在 headless Chromium 中逐帧捕获网页,3D 版本通过 SwiftShader 软件渲染 WebGL 以保证跨机器帧一致性。
SK 海力士 CEO 郭鲁正透露,受 LTA 订单及磋商需求推动,公司 DRAM 及 HBM 产能直至 2029 年已近乎售罄,中长期销售能见度大幅提升。 第三季度营收 104.62 万亿韩元,同比增长 327.9%;净利润 39.53 万亿韩元,同比增长 213.9%。
Cirkit 是一款电子工程师文档工具,支持上传电路原理图 PDF 并进行批注和信号追踪。 用户可在 PDF 查看器内直接向 Digikey 拉取元件数据手册,嵌入 BOM 数据,并针对原理图向 AI 提问。 该工具旨在帮助工程师更好地记录和理解其设计。
研究发现 Ollama 官方 305 个 GGUF 代码模型中有 7 个(2.3%)低比特量化版本在 HumanEval+ 任务上失效,但重测证实其权重数据完整未损坏。
针对带宽受限与算力不足的资源匮乏地区,云边协同架构利用边缘轻量化模型与云端 LLM 实现多模态临床筛查。 在 20 个多模态病例、500 kbps-5 Mbps 网络条件下,系统实现 98-99% 诊断工具召回率、92-96% 精确率,且 token 成本降低 4-15 倍。 该设计优于纯云端基线,在部署限制下显著提升了多模态数据整合效率与事实依据可靠性。
研究发现单流 WebGPU 大语言模型推理中,单次操作 dispatch 开销而非内核计算主导推理成本。 测量表明 dispatch 成本与数据类型无关,受控融合实验证实在 batch size 1 时瓶颈源于 dispatch 次数。 结论指出优化路径在于减少 dispatch 次数,并推动引擎及 WebGPU 规范实现 dispatch 摊销。
COMPOT 引入一次性动态分配策略,在不同层间自适应重新分配压缩率,实现了比强低秩和稀疏基线更优的质量-压缩权衡。 该框架与后置训练量化完全兼容,支持极端压缩场景。
团队提出一种端到端神经框架,用于预测自由形式 RFIC 无源器件在可变频率和电路上下文下的电磁响应及下游设计性能。 该框架结合频率条件神经仿真器与电路条件神经求解器,输出包含显式电磁响应和互补响应的神经电磁响应。 在由专家设计轮廓和随机路径合成的大规模数据集上,21M 参数模型在几乎所有目标上达到 R²>0.98,评估速度比传统电磁仿真快数个数量级,代码已开源。
该研究利用 Claude Code 将 10 个 PyTorch 机器学习项目从 NVIDIA GPU 迁移至 Google Cloud TPU,结果显示 76% 的 70 次执行尝试失败。
DualPace 提出将 CPU 侧转为独立调度的解码引擎,在保持同等延迟下,吞吐量较 vLLM 提升 11.5%–90.6%。 该运行时通过分离 GPU 与 AMX 加速 CPU 引擎的调度权限实现协同,同时在同等 P99 ITL 下维持较 NEO 高 7.3%–50.5% 的请求速率。
针对 AI 负载带来的高密度直接到芯片液冷(DTC)数据中心,研究人员在 EnergyPlus 中开发了原生对象 ElectricEquipment:ITE:LiquidCooled。
Triage 是一种免训练注意力方法,在 Wan2.2、HunyuanVideo 和 LTX-2.5 上将端到端生成速度最高提升 2.32 倍。 该方法将注意力分为三级:跳过、NVFP4 快速计算或 NVFP4 残差修正。
提出 FlashSO(2) 框架,通过整数 Ozaki 方案下的低精度仿真操作,在吞吐量、精度和内存占用上同时超越 TF32 格式。 该框架将 SO(2) 层吞吐量提升至 MALOQ 参考实现的 40 倍,在 NVIDIA GH200 上维持 236 Tflop/s 有效算力,训练 MALOQ 速度提升 3.9 倍且峰值内存减少 58%。
研究者提出无需训练的 BellowsKV 方法,通过映射相邻层隐藏状态到单一潜变量实现 KV 缓存跨层共享。 在 Llama-3.1-8B、Mistral-7B 和 Qwen2.5-7B 上,BellowsKV-Quant 在 3.6 倍压缩比下保留约 99% 全缓存准确率,13-14 倍压缩下保留 97-98%。 该方法解决了高压缩率下跨层共享缓存精度急剧下降的瓶颈。
研究指出标准扩展定律拟合存在拉什莫恩效应,导致不同参数拟合结果在扩展时产生显著偏差。 该文提出一种确定性分支定界算法,保证获得近似最优的拟合损失,并映射近优参数对应的扩展曲线范围。
研究发现混合专家(MoE)模型中,去重引擎在特定条件下比逐槽位引擎更快。去重加速仅在每轮 5-8 个 token 时生效,此时其字节份额低于带宽比。 该结论基于 Lean 形式化验证及 Metal、MLX-LM、CUDA 实测数据。
FedSEAM 提出一种大语言模型联邦持续学习框架,通过子空间兼容性测试选择性共享专家内容,并在服务器端执行共识方向的子空间专家共识合并以保留客户端特有特征。 该框架利用 Qwen3-4B 和 Llama-3.2-3B 在 TRACE 基准上进行评估,引入路由漂移与合并擦除防护机制,其中一种防护能精确保留选定子空间内的历史任务参数。
在推测解码中引入LongSpark,该框架实现草稿器解码成本与上下文前缀长度完全解耦,使长上下文任务的每输出token时间达到SOTA水平。 LongSpark是块扩散(block-diffusion)草稿器,通过从目标模型验证中提取固定大小的多尺度视图,将草稿器上下文状态降低数个数量级。
提出一种无标签准则,联合选择非监督域适应的算法与超参数,在无目标域标签情况下辅助临床部署。 方法利用多个无标签信号提名各算法模型,跨算法聚合形成参考预测,依据预测一致性选出最优候选模型。 在4项脑MRI与4项胸部X光数据集的7种临床迁移场景下,选择性能优于其他方法。
KV Packet 提出免重算的 KV 缓存复用框架,通过轻量级可训练软 token 适配器桥接上下文断层。 在 Llama-3.1 和 Qwen-3 实验中,该方法实现近零 FLOPs 且 TTFT 低于重算基线,F1 分数与全量重算持平。 该工作已被 NeurIPS 2026 接收。
AutoPipe 提出了一种预算感知的两阶段 LLM 后训练配置框架,通过离线排序代理和在线贝叶斯优化实现高效配置选择。 该框架结合高斯过程残差代理与早停预测器,在生物医学推理任务中,以远低于全保真 HPO 基线的在线成本实现了可比性能。
PayPal 推出基于 Envoy 的 Cosmos LLM Gateway,整合多厂商大语言模型,提供认证、费用管控和策略治理的统一入口。 核心请求路径在单 4vCPU 实例上支持每秒 2,200 次请求,中位额外延迟 4 ms,p99 延迟 11 ms;策略由 Open Policy Agent 声明式执行,支持数据防泄漏。
该论文提供首个联合覆盖LEO卫星分布式训练、协同推理及LLM在轨适配的综述,旨在解决AI算力受限下的卫星智能化部署难题。 文中详细阐述了联邦学习与分割学习如何实现星地协同训练,以及多种协同推理架构满足实时服务需求,同时探讨LLM在轨服务的资源感知机制。 这项研究构建了太空原生AI技术的实施路线图,为克服卫星网络动态拓扑与SWaP约束提供了设计原则。
Waypoint 是一个解析模型,能自动识别给定硬件和矩阵形状下的最优 GEMM tile size。 该模型通过捕捉内存层级、指令级并行和多线程等架构效应来估算性能。 基于 Waypoint 构建的 GEMM 库 OPAM 在 CPU 上加速 LLM 推理,实现 1.36 - 1.98 倍提速。
AIPC 结合结构化 Skills 与工具链证据,实现 PyTorch 项目在高通 NPU 上的自动部署与优化。 在两个优化案例中,Whisper-Small 有 6/7 次运行达标(对照组 0/6),YOLO-Worldv2 实现 2.791 倍端到端加速(对照组 1.599 倍),部分运行无需人工干预。 该方法将模型适配、构建、执行、精度修复与性能优化整合为单一部署流程。
针对 LLM 智能体中提示词缓存误集成常静默失败的问题,研究团队设计工具 CACHELINT,在 571 个项目中识别出 32 处误集成,精度达 0.86。 CACHELINT 结合 CodeQL 定位调用点,并基于 LLM 检查前提条件,在 10 个开源系统 120 个样本上实现 0.78 召回率。
提出 Pacifo 框架,通过定制微调策略高效评估 ResNet20 模型。 采用公私密层划分和高效 ReLU 近似,减少私用层和 FHE 操作。 比当前 SOTA 快 3.7-21.7 倍,保留 95%-99% 原始精度,开源可用。
论文建立经济模型评估大语言模型在 SOC 中的 ROI,通过蒙特卡洛模拟计算盈亏边界与 Value at Risk。 该模型平衡由准确率驱动的生产力增益与 API、自托管及错误修复成本。分析表明多数配置不具备盈利性,盈利仅限于高准确率、低不确定性部署。 为机构提供了量化依据,支撑基于证据的采用决策。
针对 23 个受调查 HPC 系统均无运行作业监督且控制主机易受攻陷的缺陷,Enclawed 提供由硬件信任根支持的确定性安全运行时,支持智能体在 MPI 和批处理 HPC 系统上的受监督运行。
多名 Microsoft Edge 浏览器用户反馈无法打开侧边栏 Copilot,页面提示“你的 Copilot 正在迁移到新体验”,迁移可能需要几天时间。 受影响用户在迁移完成前只能改用网页版 Copilot,多位用户报告类似情况,但微软尚未发布公开说明或给出迁移结束的具体时间表。
OpenAI 计划正式导入谷歌 Google Cloud 的 TPU 芯片,并已在招聘中寻求领导该适配优化工作的工程师。尽管谷歌 TPU 在 OpenAI 创业早期发挥了重要作用,但其后业务逐渐转向 NVIDIA,并陆续采购了 AMD、Cerebras 和 AWS 等芯片,目前还正在自研 Jalapeño。
模型交接常因 JSON 格式问题失败,仅靠确定性修复无法覆盖所有错误。文章提出“恢复阶梯”策略:先尝试常规解析,再应用安全修复,最后用小模型修复语法。该方案还明确了何时应重新运行推理步骤以解决根本问题。
SambaNova 的 AI 推理芯片 SN50 RDU 将加入 Oracle 的 OCI 云服务。 Oracle 正在构建多样化的 AI 算力组合,除 NVIDIA、AMD 芯片外,已上线 Positron Atlas 芯片,并成为首家提供 Google TPU 的外部超大规模企业,未来还将导入 Cerebras 晶圆级芯片及支持英特尔至强 "Diamond Rapids" 处理器。
USF 初创公司 Digitomy 开发的 AI 智能蚊蝇陷阱在实验室测试中识别蚊种准确率超过 98%,能有效监测登革热等虫媒传染病。 该系统通过摄像头拍摄粘板上的蚊子,利用 AI 和云计算实时监测病原体携带蚊种,大幅缩短传统人工显微镜鉴定需 2-3 天的周期。 技术团队正与蚊子防治区合作开展实地验证,并准备将 AI 识别系统授权给制造商,以加速商业化落地。
文章利用十个来自不同工具的笔记作为合成数据集,对比了文本搜索、嵌入搜索和带重排器的嵌入搜索三种策略。文本搜索仅匹配关键词,会遗漏语义相同但用词不同的记录;嵌入搜索通过向量相似度匹配语义,能发现未包含查询词的文档,但可能因相关性不足将次要结果排在前面。
webframe 是一个快速轻量级浏览器 JavaScript 运行器,性能与 shot-scraper 相当,但存在 CSP 失败、0×0 视口及缺失 HTTP 元数据等缺陷。
Cowboy Space 展示 Big Iron 火箭,旨在通过其 Star 星座在低地球轨道部署 20,000 个 AI 数据中心卫星。 火箭高 282 英尺,一箭一星,计划 2028 年 12 月首飞。 旨在将每个卫星的约 1 兆瓦算力部署至太空。