DiRotQ: 面向4位扩散Transformer的感知旋转量化框架
DiRotQ提出W4A4 PTQ框架,通过PCA低秩子空间保持关键激活分量的高精度。 在PixArt模型上,DiRotQ取得FID 15.9、PSNR 19.1 dB,优于SVDQuant的FID 18.9。 Triton内核使12B FLUX.1-dev模型内存降低2.1倍,RTX 4090上推理速度提升2.3倍。
DiRotQ提出W4A4 PTQ框架,通过PCA低秩子空间保持关键激活分量的高精度。 在PixArt模型上,DiRotQ取得FID 15.9、PSNR 19.1 dB,优于SVDQuant的FID 18.9。 Triton内核使12B FLUX.1-dev模型内存降低2.1倍,RTX 4090上推理速度提升2.3倍。
TailSieve 提出了一种基于部分回滚指导的框架,通过联合控制长尾路由和副本分配来优化 LLM 大规模回滚性能。 该框架利用部分回滚完成状态作为无训练信号识别长尾组,并采用分层控制器动态调整隔离组数量与副本分配。 实验显示,仅使用路由可实现最高 1.67 倍加速,结合推测解码后加速比达 2.59 倍。
ACTOR 是一个无需训练的插件模块,利用明确的标注预算改进视觉语言模型的测试时适应效果。 该模块通过一致性与可靠性检查路由不确定样本,支持查询标签或基于记忆的修正。在十个跨领域基准测试中,它显著提升了 ResNet 和 ViT 骨干网络的性能,推理开销极小。
论文提出 ZeroQAT 框架,通过前向传播梯度估算消除反向传播,支持 LLM 权重与激活的端到端量化感知训练(QAT),显著降低内存与计算开销。 ZeroQAT 允许在单张 8GB GPU 上以 2-4 bit 极低位宽微调 13B 模型,并实现 6.7B 模型在 OnePlus 12 智能手机上的端侧微调。
该研究探讨生成式 AI 推理服务中工作负载隔离作为提升资本效率的基础机制,利用生产数据阐明其动机。 隔离通过重组请求至不同设备集群,避免高成本请求拉高整体运营成本,为定制化优化和硅片设计提供基础。
TensorMutation 利用变异条件图神经网络在神经图上预测参数变化,无需重新训练即可生成可执行变异体。 在 71 个多层感知机分类器的 25,252 个原始-变异体对语料库上训练,该方法在 12 个真实故障主题上实现了最高中位行为相似度,优于 DeepMutation++。
在单张 16GB GPU 上,Aurora 等 5 个公开 AI 气象模型将网络权重转为 fp16 半精度推理,全球 RMSE 变化不超过 1.4%。 相比 fp32,fp16 推理速度提升 1.3-3.5 倍,能耗降低 1.4-3.7 倍,且数值无溢出。 物理状态需保持 fp32,bf16 精度低于 fp16,8-bit 量化则损失过大。
提出 MorphSched 系统,利用 LLM 生成 Rust+BPF 调度器,在 120 种配置下优于 EEVDF 26.5% 至 87.3%。 采用 DAG 修复流程处理编译与验证错误,生成器无需人工编辑即可通过 eBPF 校验并稳定运行。
FOSCAR 通过仿射折叠技术显著降低量化 KV 缓存的解码注意力延迟,并在 H100 上实现最高 3.36 倍加速。 该算法将缩放和偏移运算减少两个数量级,H100 和 B200 上 INT2/INT4 内核分别达到 3.36 倍和 2.83 倍加速,较 TensorRT-LLM FP8 提升 2.03 倍和 1.71 倍。
自适应调度流水线(ASP)作为离线 rollout 调度器,通过单次预处理将端到端吞吐量提升 3.22 倍,迭代时间最多降低 76.8%。 相比 MindSpeed-RL 和 verl,ASP 更有效地克服了单实例推理的早期扩展瓶颈,并在有界策略滞后下保持收敛无退化。 该调度器已在电信领域 RL 后训练工作流中应用,将训练周期从 3 个月以上缩短至约 2 个月。
Atik 是面向 RocketChip 的开源 RoCC 加速器,通过共享定点 MAC 网格执行矩阵乘法和稠密注意力。 该加速器使用 BF16 张量,采用流式在线 softmax 调度。8x8 配置相对标量 Rocket BF16 参考实现,峰值矩阵乘法加速 31.5 倍,注意力加速 225.8 倍。
CascadeRec 双层 LLM 重排序级联系统已在生产环境中运行超过一个月,推理成本降低约 10%,且未观察到质量回退。该系统仅在路由器判断额外推理算力有益时,将请求升级至更昂贵的 Tier-2 流程。 在公开基准测试中,均匀 LLM 重排序使稀疏历史用户的 NDCG@10 最多降低 30%,且仅在最长期历史的细分组中表现出统计显著收益。
研究人员对 FlashInfer、Triton 等七个库的 300 个 GitHub issue 进行人工分析,完成首项 LLM 系统 GPU 内核库问题实证研究。 分析发现 60.33% 的问题源于编译器、构建系统或运行时环境,且现有测试难以识别低精度与硬件特定故障。
Fused-Softmax 是一种免训练算法,通过在 AMD Instinct MI355X GPU 上实施,将 MXFP8、MXFP6 和 MXFP4 内核的性能分别提升至约 3.0、4.0 和 4.6 PFLOP/s。
该方法通过单一小型冻结 LLM 的 prefill activations 预测候选模型的成功率与输出长度,显著降低推理成本。 在 8/9 个数据集上,相比中位长度定价,该预测方法在匹配准确率下节省 9-33% 成本,最高可达完美信息节省量的 69%。 输出长度主要取决于问题难度,20 个标注问题即可保持大部分节省效果,且 scout 规模超过 2B 后节省不再增加。
MINE提出无损熵编码方案,通过利用权重非均匀分布加速LLM单流推理。核心为适配GPU的dtANS-LLM编码器,可自动调优以平衡压缩率与解码延迟。 集成至vLLM作为插件,在Llama 3.1 8B Instruct模型上,RTX 4060 Ti实现2.52倍加速,RTX 5090实现1.48倍加速。项目已开源,旨在解决本地部署中因内存瓶颈导致的低延迟请求难题。
研究证实百亿参数模型的优化轨迹被约束在有效维数 $d_{\text{eff}} \le 12$ 的低维执行子流形上。 该工作推导了基于持续同调的拓扑泛化界限,并验证了 Top-SGD 算法在 ImageNet 上将训练时间减少 14.1%。 代码已公开,为理解过参数化神经网络的泛化能力提供了严格的数学解释。
Scratchpad Patching (SP) 将计算量与补丁大小解耦,提升字节级模型效率。 SP 通过 next-byte 预测熵触发临时 scratchpads,在 $16$ bytes/patch 时使 KV-cache 缩小 $16\times$,推理计算量减少 $3$-$4\times$。 方法在自然语言和代码基准上使 $16$-byte 补丁模型接近字节级基线质量。
提出 BitDecoding-FP4,实现原生 FP4 KV Cache 解码,Qwen3-4B 等模型在 B300 上吞吐量提升 2.4-3.0 倍。 通过双残差量化、概率缩放及异常值感知量化降低误差,精度保持在 BF16 的 0.5 点以内,支持 Qwen3 等模型及 NVFP4 格式。 代码已开源,适用于稠密与 MoE 模型的长上下文 LLM 服务场景。
研究提出 Executing Writer 方法,从 LoRA 适配器恢复技能文档,在存储文档的适配器上恢复 39-44% 关键指令。 在 41 个外部技能上,恢复的文档还原了 85-91% 原任务增益;若仅基于行为训练,恢复率降至 1-2%,改用差异驱动代理在 ALFWorld 上恢复 58-71% 增益。
CodeQuant2 提出了一种基于聚类的查找表(LUT)量化框架,旨在解决低精度大推理模型(LRMs)的量化挑战。 该框架通过旋转和缩放缓解激活异常值,利用聚类表示非均匀权重分布,并根据量化难度自适应调整代码本大小,同时结合定制的 LUT CUDA 内核。 在推理基准测试中,CodeQuant2 带来了显著的精度提升,并实现了相对于 BF16 高达 2.85 倍的加速。
该方案结合 Okta Cross App Access (XAA) 和 Amazon Bedrock AgentCore 实现 AI 智能体访问治理。Okta 在身份提供方层面评估策略,决定智能体是否可代表特定用户操作应用;AgentCore 在 AWS 执行层面将决策转化为短时效访问令牌。
AWS 博客展示如何利用 Amazon Bedrock AgentCore Gateway 和 Cedar 策略集中治理大规模 AI Agent 对工具的访问,解决直接连接导致的接线矩阵和权限漂移问题。
亚马逊支持团队在 Amazon ECS Fargate 上构建无服务器 MCP 服务器,作为 AI 智能体访问企业数据湖的中央网关,解决多智能体重复开发权限控制的问题。 该架构采用元数据驱动模式,新增数据源仅需提供 JSON 文件即可自动接入,无需编写定制代码,支持多租户环境下不同 MCP 客户端共享同一工具接口。
Amazon SageMaker Inference 现支持 GPU 分区,使用 NVIDIA Multi-Instance GPU (MIG) 将物理 GPU 划分为独立的计算与内存分区,允许在单个端点上部署比 GPU 数量更多的模型,同时实现硬件级隔离、可预测延迟和租户安全。
summary_zh: Taxbit 基于 Amazon Bedrock AgentCore 发布了嵌入其合规平台的 AI 助手 Taxbit Assist。该助手支持带引用的角色感知问答,且超过 55% 的用户在首次提问后 24 小时内会再次使用。
文章以 DeepSeek 发布的 SuperAgent 双层架构为参照,阐述 QoderWake 在数字员工场景下的 Router/Worker 协作落地实践。
ActQuant 提出行动引导混合精度 PTQ 框架,在 LIBERO 基准上以 3 bpw 以下保留 OpenVLA-OFT 95.0% 性能。 通过 2.5 bpw 将主干压缩至 2.7 GB,实现 5.3 倍加速,并在 UR3 机械臂上保持基线成功率。
ReGuard 框架通过在推理时介入保护,无需重训即可发现并缓解基于 RL 的网络控制器在最坏情况下的性能退化。 该框架将场景发现形式化为双层遗憾最大化问题,在 Pensieve、Sage 和 Park 三个控制器上发现 43-64% 的性能损失。 ReGuard 通过轻量级逻辑规则介入高风险状态,在首次迭代中缩小 79-85% 的性能差距,其保护作用可延伸至更广泛的网络条件。
KV 缓存量化在降低显存的同时可能破坏 LLM 的安全对齐,Mistral-7B 在仅 1.03 倍困惑度损失下失去 15.2% 拒绝能力。 研究提出 Per-Channel Reduction 诊断方法,揭示了安全特征在低维激活子空间中易受量化噪声影响的几何根源。 该无训练协议只需约 35 GPU 分钟,即可在 vLLM 生产环境中恢复高达 97% 的丢失对齐。
一项指令级故障注入研究发现,LLM 的可靠性特征显著受模型架构、参数规模和任务复杂度的影响。 该研究通过多维度分析揭示了 LLM 在软错误下的易感性,不同于传统的视觉任务神经网络。 这些发现为设计更有效的容错机制提供了新见解。
针对线性注意力长上下文推理中状态更新导致的内存访问瓶颈,提出IO感知服务机制KVBuffer。该机制通过缓存键值对实现批量解码、并行验证投机解码及短上下文直接计算。 KVBuffer已在SGLang中实现,支持Qwen3.5和Nemotron-3系列模型,使批量解码速度提升最高1.47倍,投机解码最大服务请求量增加5倍。
RAVEN 利用递归感知预训练策略,在包含超 100 万独立个体的数据集上学习自回归生成临床事件,零-shot 预测性能超越标准下一词元模型并比肩微调表示模型。 该模型在数据受限、算力饱和场景下验证了单纯增大模型尺寸并非最优策略,且能泛化至外部患者队列。
TACT-KV 提出无校准的三轴余弦变换方法,压缩 3D 医疗扫描产生的海量视觉 token KV 缓存,消除结构内存墙。 方法对 KV 缓存执行可分离 3D DCT,通过逆向注水法分配比特预算并量化,6 个医疗 VLM 和 2 个 3D CT 基准中 12 个组合里 11 个取得最低 1-bit 预测翻转率。 在单 GPU 上,相同 HBM 限制下将解码批处理规模提升最高 8 倍。
ZYFA 专为 AMD Instinct MI355X 开发,在 32K 上下文长度下,FP8 吞吐量达到 AITER 内核的 1.16-1.76 倍。 采用直接计算概率、乒乓调度及缩放取整技术,解决了 FP8 无法加速 softmax 及指令重叠难题。
307M 参数多语言交叉编码器 Ru-Jev 后续版本增加标签表面形式增强,在普通词和外来词路由任务中准确率最高提升 0.24。 在缩写和晦涩代码场景下无可用增益,且部分指标随候选数增加出现置信错误上升。 模型在未见数据集上准确率变化为 -8.4 和 +5.6 个点,验证了增强对非熟悉词汇的鲁棒性。
FastAFD 引擎在 GB200 NVL72 上实现 AFD 优势,Qwen3 吞吐量提升 1.17 倍,Qwen3.5 提升 1.16 倍,MiniMax-M2.5 持平宽 EP。
KOSMOS 是一种自调度持久内核库,通过基于消费者需求的队列动态切换通信与计算角色,消除了固定调度带来的空闲窗口。
ACSeL 是一个专为内存和延迟受限环境设计的 LLM 推理配置搜索框架。 它结合轻量级质量代理、Few-shot Median Calibration (FMC) 和 BandPareto 搜索算法,在 NVIDIA Jetson Thor 等平台上显著提升了部署可行性。 该方法通过预测满足约束的最优配置,实现了生成质量与资源限制的高效平衡。
小型软件公司 Grayhat Developers 采用混合架构部署 AI,本地开源模型处理低复杂度任务,商业智能体负责复杂任务。 原每月约 $325 的商业 AI 成本涉及超 25.93 亿 token,约 30-40% 的工作量属于协调类任务。 迁移协调任务至本地模型后,预计可减少 27-36% 的整体商业 AI 使用量,集中配置的部署方式显著提升了采纳率。