针对表格上下文学习的查询校准算子压缩方法 QCOC
论文提出 QCOC 方法,将表格 ICL 中的原始示例编译为紧凑共享内存以解决精度与吞吐的权衡。该方法通过聚类 KV 状态构建原型,在 64 个 OpenML-CC18 数据集上取得最高平均准确率。
论文提出 QCOC 方法,将表格 ICL 中的原始示例编译为紧凑共享内存以解决精度与吞吐的权衡。该方法通过聚类 KV 状态构建原型,在 64 个 OpenML-CC18 数据集上取得最高平均准确率。
研究人员提出一种结合输入窗口压缩与残差时间特征融合的轻量级时序模型,用于低成本传感器校准。 模型基于涵盖五个地点、为期六个月的室内空气质量数据集构建,在四种评估场景下均表现出优异的校准性能。 该方法有效解决了传统成对校准忽视时空异质性的局限,并在边缘端推理中保持低成本。
TokenRouter 系统通过 request-centric programming 实现 Token 级 LLM 路由推理,解码吞吐量比现有系统高 2.01-64.15 倍。 该系统为每个 LLM 启动子服务器,并采用基于数学吞吐量模型推导超参数的延迟批处理调度器。 代码已开源,该研究已被 NeurIPS 2026 接收。
研究提出即插即用方法 RECAL,通过在校准阶段重加权统计量以优化剪枝目标,从而提升在线策略蒸馏(OPD)的恢复效果。 在多个模型和剪枝方法测试中,RECAL 显著提升了数学推理能力,在 AIME 基准测试中取得最高 16.7 个百分点的提升,并改善了多数代码生成对比结果。
该研究提出“先澄清文本,再聚焦读者”的原则,通过陈述归一化将对话转化为带说话人归属和语义标签的简短陈述。 在客服电话的报价抑制任务中,归一化提升了无选择监督分类器的性能,而较弱的提示型读者同时受益于归一化和选择。 该方案支持完全由小模型构建的推理流水线,使处理数百万次会话的分析成本显著降低。
Claude Code 发布 v2.1.295 版本,新增 Hook 失败阻断及终端状态协议支持。 新增 Gateway 超时控制、模型白名单及 Fable 模型修复,优化 MCP 重连与输出稳定性。
Amazon Bedrock AgentCore 推出支付功能,使 Incarna 的 AI 智能体能够通过 x402 协议向 BlockRun 按次支付模型推理费用。 该服务支持 managed wallets 和基础设施层支出限额,将集成 x402 支付的工作量从数月缩短至数天。 交易在 Base 网络上以 USDC 结算,确保智能体无法超支且每笔交易可审计。
summary_zh: Amazon SageMaker HyperPod 提供了一套用于在单个 EKS 集群中共享 GPU 资源的多租户参考架构。 该架构利用 Kubernetes 命名空间实现负载隔离,并依赖 HyperPod Task Governance 机制确保资源分配的公平性。
阿里云百炼推出播客「炼场·YS Night」,邀请 4 位 AI 创业者分享真实商业化故事,已在喜马拉雅等平台上线四期。 嘉宾涵盖法律 AI SaaS 出海、垂直商拍、财税 Agent 及工业质检等场景,强调将复杂留给开发者,把简单留给用户。 内容聚焦获客、定价与交付确定性等实际痛点,为处于不同阶段的 AI 创业者提供避坑指南。
该研究将流形约束超连接(mHC)应用于冻结骨干微调,发现动态残差路由能有效提升损失并减少可训练参数。 mHC将Transformer转变为输入依赖的多流残差架构,在不同变体中,仅学习子层如何访问流即可保留流混合效果。 这项结果识别出残差路由是基础模型高效微调和未来预训练中有前景的架构轴。
CoMoE 通过主机中心路由解决消费级 GPU 通信瓶颈,使 MoE 推理成本降至数据中心的 23.4%。 该系统利用 RTX 5090 显卡,通过主机背板令牌多播和细粒度聚合机制,提升推理吞吐量最高达 1.46 倍。
TR-PTQ 通过泰勒区域重构实现纯整数推理,在视觉与语言基准测试中准确率绝对下降幅度小于 1.5%。 该方法使用共享泰勒区域对数/指数原语,在日志域通过标准整数算术完成除法与平方根,结合无校准的离群值感知 LayerNorm 优化。 该方法消除了非线性计算对浮点硬件单元的需求,解决了由归一化层学习参数和 GELU 复合近似导致的精度损失。
研究团队提出 NeuralZip,通过预计算并复用指数统计结构实现模型权重的无损压缩,避免重复分析开销。 该方案将具有相似指数分布的数据块分组并共享 Huffman 码,后处理压缩速度比基线快 1.81 至 21.33 倍,且支持跨架构迁移与权重演化中的持续复用。 GPU 实验表明,在精确复现 logits 的同时,NeuralZip 可使激活内存占用降低最多 27.5%。
SPIN通过基于历史的轻量预测识别关键KV块,避免每步解码时对整个KV缓存进行评分,从而减少索引器开销。在vLLM推理中,SPIN以30-40%的稀疏度保持任务质量,并可将吞吐量提升最高14.9%,中位数token间延迟降低最高13.2%。
针对 LLM 生成电力系统代码时的 API 知识边界故障,研究提出 PowerCodeBench 基准与部署时工作流。 该工作流无需更新权重,通过 L0-L3 探针生成 API 档案并动态选择证据,在 10 种开源 LLM(1.5B-480B)上使标量匹配准确率提升 32-56 个百分点。 工程审查确认 88% 的输出准确,且通过稀疏注入将提示词 Token 消耗降至全层参考的 41%。
VLA 模型对指令措辞极度敏感,π0.5 在 LIBERO 上因措辞差异导致成功率从 100% 降至 2%。研究利用 LLM 蒸馏 10-20 条重述规则,无需重训练即可提升性能。
研究建立 LLM 推理分配模型,证明容量受限时便宜模型虽省电但更耗容量,折扣效应反转。 引入几何重试乘数和双机制瞬态流体队列,揭示反应式节流可能制造比消除更多的流量。 在拥塞下,节流是需求杠杆而非成本杠杆,异质客户的智能影子价格按类别和小时为边际查询定价。
针对 LLM 推理中动态 KV cache 增长特性,提出几何感知在线调度算法 Smallest Volume First (SVF) 及其高效变体 1-bit SVF。
该研究证明了具有稀疏路径属性的图连通性问题属于 ReachUL、LOGDCFL 等低空间复杂度类,仅需 O(log^2 n / log log n) 空间即可判定。
Ouro 模型因早期退出先验均匀施加且每层需独立 KV 缓存,未能实现动态计算。 研究者提出“最优可用”KV 缓存策略,使 Ouro 模型在保留全深度性能的同时,减少 30% FLOPs 和 KV 内存。该方法还改进了早期退出目标,使 token 基于难度以异质深度退出。
提出 Cleave 机器学习编译器,通过符号解耦将代数变换与算子调度分离,生成比最佳基线快 2.8 倍(平均 1.6 倍)的内核。 利用符号形状实现廉价等价检查,并通过新的 Split 算子并行化归约维度;平均编译时间比 Mirage 减少 5.9 倍。 动态工作负载测试中,相比 FlashInfer 手写 FA2 和 FA3 后端,分别实现 1.4 倍和 1.7 倍几何平均加速。
针对大规模MoE模型分布式训练中的内存瓶颈,研究团队提出名为RelayMoE的基于环的MoE执行模型。 该模型通过本地计算避免构建完整的top-k扩展调度缓冲区,并依据通信量选择专家或token路由,实现传输与计算的重叠。 在30B至57B生产级MoE模型的实验中,RelayMoE相比Megatron-LM实现平均2倍加速,在相同显存预算下最大吞吐量提升2.02倍,可训练序列长度延长2.85倍。
论文提出SAFESHIELD框架,将部署时安全视为决策组织问题,通过责任分解与显式协调组织四类决策,并记录可审计的决策追踪。 协调消融实验显示,移除准入门控会大幅增加虚假放行,而剥夺上游证据使放行准确率从96.0%降至69.5%,证明决策组织对安全至关重要。 SAFESHIELD已获IEEE TPS 2026应用轨道接收,该工作为小型语言模型的部署安全提供了系统级设计依据。
T-CCL 利用 TMA 卸载数据移动和归约操作,在受限资源下比 NCCL 快 3.42 倍,且占用更少 SM 资源。 该库支持 AllReduce 等通信操作,并与 GEMM 重叠执行时提升 4-GPU 场景算子速度至 1.14 倍。 集成到 vLLM 作为通信后端后,端对端推理吞吐量比自动调度提升最高 1.31 倍。
OSFP4 通过联合优化对角平滑矩阵与块缩放,降低 NVFP4 量化误差。在相关设置下,其平均精度超过已评估竞品,并保留约 94-97% 的厂商 NVFP4 prefill 吞吐量。代码已在 arXiv 公布。
summary_zh: FluidPD 是一种 P/D 分离服务系统,通过 FluidToken 和 FluidRole 机制提供感知 SLO 的原地弹性,将 Azure 生产负载下的 SLO 达成率较静态 SGLang 最高提升 94.6 个百分点。
Amazon Quick 和 Amazon Bedrock 通过实时 ACL 检查,在查询时直接向数据源验证权限,解决了 RAG 中访问控制滞后的问题。 该系统采用混合架构:首先利用向量索引进行语义搜索和预检索过滤,随后调用 Google Drive 等权威 API 实时验证候选文档,确保仅将用户有权访问的内容传入大语言模型。
GitHub 发布 ModernBERT 密钥检测模型,用于在 push 阶段拦截未结构化的密钥泄露,评估时间不超过 2 毫秒。该模型目前处于私有预览阶段,本月晚些时候将向 GitHub Secret Protection 企业云和 GitHub Teams 组织开放,并集成至 Copilot CLI 的 /security-review 命令。
推荐理由:GitHub 推出基于 ModernBERT 的通用密钥检测分类器,将扫描耗时压缩至 2 毫秒以内,用户可据此判断其如何解决 AI 代理加速代码产出带来的密钥保护挑战。
Cloudflare 推出多 AI 智能体安全运营系统,加速其托管防御(Managed Defense)的安全事件响应。该系统在调用推理模型前,先通过确定性代码执行固定侦察工作流以收集客户身份、检测历史及网络观察等数据,确保分析可复现。
summary_zh: Cornerstone OnDemand 基于 Amazon Bedrock 和 Strands Agents 构建多智能体系统 Orion AI,将数据库诊断时间从 45 分钟缩短至 10 分钟,降幅达 78%。
Qlik 基于 Amazon Bedrock 构建 Qlik Answers,提供带来源的企业级 AI 回答,已服务超 4 万客户。 自 2026 年 2 月正式版发布,其 Discovery Agent 已生成超 100,000 个发现;客户部署案例中,某公司响应时间缩短 75%,员工每周节省约 7 小时。
AWS 官方在 Machine Learning Blog 推出 Agentic Value Model,给 AI 卓越中心一套量化 agentic automation 价值的框架:把传统 RPA 式 ROI(工时×工资−建设成本)拆成时间节省、异常处理、决策质量、变更韧性四个价值池,并要求每个池指定实现机制和责任方,避免把释放的工时直接当作利润。
推荐理由:原文给出了可复用的 Agentic Value Model 和业务案例计算式,读者可以按四个价值池测算 Agent 投入是否真正落到损益表。
AgSpec 是一个针对编码智能体流水线优化推测解码的框架,在两项仓库级基准测试中,其生成吞吐量相比自回归解码最高提升 4.37 倍(批处理大小 1)和 4.76 倍(批处理大小 16)。
该论文提出了一种生产级内容提取系统,旨在解决生成式AI工作负载中异构企业数据(如PDF、表格)的提取难题。系统在180份文档语料库上,最佳提取器得分97.4/100,特征错误率0.13%,表格相似度0.995;分块器在25,050个生成问题上达到Hit@1 68.6%,MRR 0.77。
AegisFlow 提出了一种基于 Watchdog 和 Repair 智能体的自愈框架,利用 LLM 自动创建、测试并部署代码补丁,将平均修复时间(MTTR)从 170 分钟降至 3.2 分钟。
1.4B 和 2.6B 参数 Ouro 模型经 uptraining 后,1K/16K 上下文解码吞吐提升 2.5 至 7.4 倍,保持 97% 以上基准准确率。
Nucleus Speculative Decoding (NSD) 通过结合目标模型核采样(nucleus)的合理性来放宽验证规则,提升推测解码效率。 该方法能接受属于目标模型 nucleus 的 draft token,从而在保持任务性能的同时增加保留 token 数。实验显示 NSD 相比自回归解码可实现最高 5.16 倍吞吐加速,相比标准推测解码最高达 3.15 倍。
提出循环式投机解码框架 DLoop,通过在模型自信时自适应地执行多轮起草,并在验证阶段统一处理累积的草稿 token,以减少目标模型的前向传播次数。 DLoop 引入循环感知训练策略,使草稿模型能够处理未验证草稿的隐状态。
多智能体系统 KernelOPT 提出针对 GPU 内核优化的结构化搜索方法,保留 cuBLAS 和 cuDNN 库调用,仅优化生成的 Triton 子内核。
summary_zh: KVCMAS 提出在线 KV Cache 纠偏框架,通过低秩状态建模多智能体跨缓存偏差,消除额外参考预填充开销。 该框架在多种语言与视觉语言负载中匹配或提升精度,并发服务下 TTFT 最低;相比无共享推理提升 2.0 倍,峰值 GPU 内存较前代方法减少 3.7 倍。