基于图分析的隐私 Transformer 推理中的可比性、规模与归因研究
该研究构建了包含62个隐私 Transformer 推理(PTI)系统的经验图,通过三层分析揭示系统可比性与扩展瓶颈。 节点级归因显示密码学进展驱动性能提升但伴随模型保真度等因素;边级审计表明1891个候选系统对中仅1对可直接比较。图级分析指出隐私推理扩展前沿停滞在13B参数,并预测生产级部署成本。
该研究构建了包含62个隐私 Transformer 推理(PTI)系统的经验图,通过三层分析揭示系统可比性与扩展瓶颈。 节点级归因显示密码学进展驱动性能提升但伴随模型保真度等因素;边级审计表明1891个候选系统对中仅1对可直接比较。图级分析指出隐私推理扩展前沿停滞在13B参数,并预测生产级部署成本。
该论文提出基于吞吐量-延迟权衡的系统框架,用于优化 LLM 推理中的并行化配置。 通过构建 TTFT-ITL 可行集与帕累托前沿,揭示了随工作负载中 prefill 占比增加,最优配置从 TP 主导转向 PP 主导的规律。 框架引入 goodput 指标实现 SLO 感知的并行化选择,并证实长上下文场景下 PP 主导配置具备更优的可扩展性与 SLO 达成率。
PolyNet 将多项式动力学神经表征与循环网络结合,用于已知系数下的离散时间积分。在 KdV 方程测试中,PolyNet 精度与有限差分 Runge-Kutta 解算器相当,即使振幅超出训练条件也保持有效。 该方法在 GPU 上实现高吞吐量,且性能在所测分辨率范围内近似恒定,支持最多 10^4 条轨迹的并行模拟。
针对预训练 LLM,GBLM-Pruner 利用一阶 Taylor 项和校准样本梯度实现无训练剪枝。 该方法在 LLaMA、Qwen 和 DeepSeek 模型的 Zero-shot、STEM 和 Coding 基准中,大幅超越 Magnitude 剪枝与 Wanda,性能与 SparseGPT 相当。
研究显示在 Raspberry Pi 5 上使用 Hailo-10H NPU 运行 Qwen2-VL-2B-Instruct 可大幅降低推理能耗。NPU 卸载使每生成 token 能耗降低约三分之二,并避免 CPU 后端持续使用时的热节流问题,同时释放主机 CPU 资源。
在200-600 token序列中,扩散模型(LLaDA-8B, Dream-7B)能耗为2.5-2.7 J/token,约为带KV-cache的自回归模型(5.3-5.7 J/token)的2倍效率。 自回归模型在长序列中通过KV-cache实现50-70%的能耗降低。
Delta Tokenizer 实现仅对新增文本分词,相比 Hugging Face 基准模型将单次会话分词速度提升约 40 倍。 其分块并行路径在 16 核 CPU 上处理四百万字符请求时,比串行编码快 8.2 倍,比 LoPT 快 1.6-2.1 倍。 在 SGLang 中,该方法将 100K 令牌请求的 P99 TTFT 降低 23 倍,且输出与参考编码完全一致。
JSSA 通过联合子空间稀疏注意力,在 128K 上下文下实现 6.43 倍解码吞吐量提升。 该方法学习共享低维子空间优化排序,并开发无 gather 的 token 级索引注意力内核,支持 GQA 布局。 JSSA 在标准 GQA、混合注意力及 MLA 模型上保持接近全量 KV 精度,700B 规模下达 96-99% 吞吐量。
本文演示了如何通过 Python SDK 部署 Amazon SageMaker JumpStart 预训练模型并进行轻量级评估。 使用示例提示词测试,延迟 9.07 秒,生成速率 16.9 词/秒。 该流程适用于多数模型,但 Payload 格式和实例类型需根据具体模型调整。
Qoder 团队推出全托管 Agent 平台 Qoder Cloud Agents,支持在云端运行复杂任务并实时返回结果。 平台提供开放 API、多语言 SDK、CLI 及 Skills 集成方式,底层通过 Managed 层处理运行与会话状态,上层 Forward 层封装用户身份、记忆、IM 渠道及定时任务能力。
岚图汽车部署硅基流动私有化大模型服务网关,构建统一调度管理平台。新模型接入时间从一周缩短至一天,模型升级实现全程不停服。 该网关屏蔽供应商接口差异,统一管理密钥与RPM、TPM配额。支持权重分流、故障降级及灰度发布,统一监控TTFT等指标。 此举解决了分散接入带来的适配与安全难题,为后续多智能体协同提供基础。
Purlin 提出了一种将集合通信的语义、编排和数据路径分离的 scale-up 通信框架。 其核心包括基于输入输出布局的集合定义、共享的 SNAC 编排协议以及硬件相关的 Atom 数据路径。 在 A100、H200 和 B200 GPU 上,Purlin 实现了最高 5.14 倍延迟加速和 4.50 倍带宽提升,集成 SGLang 后显著提高了 LLM 服务吞吐量与交互性。
Koa-decision 将分类等原子动作转化为单 token 输出的约束生成,通过引入原子标签 token 并应用监督微调,实现低延迟确定性解码。在意图路由基准测试中达到 85.5% 准确率,响应时间约半秒,比最前线模型快最多 7.5 倍。该框架支持多模态输入和多标签输出,填补了现有系统在此类任务上的空白。
利用轻量适配器微调路由器并据此剪枝 MoE 专家,可在保留精度的同时大幅降低资源占用。 在 Mixtral-8×7B-Instruct 上,router-only LoRA 仅训练 0.002% 参数,移除半数专家后 MMLU-Pro 准确率为 27.54%;剪枝使内存减少 49%,每 token 延迟降低 37%。
SAKI 是一种免训练 KV cache 索引方法,直接保留注意力分数而非 Key 重建质量,在多个基准模型上优于 PCA。 在 rank 32 时,SAKI 消除了 PCA 剩余 top 64 recall 误差的 13% 到 30%,LLaMA 3.1 8B 的 recall 从 0.748 提升至 0.799。
Spectra 算法调度并行光路交换机处理 AI 训练流量,将 GPT 工作负载完成时间缩短 1.4 倍。 该算法通过分解加权排列、感知负载分配及均衡拆分三步实现,在 MoE 工作负载中缩短 2.7 倍。 已获 IEEE/Optica 期刊接收。
该研究提出前缀感知调度器 Feather,利用强化学习(RL)优化 LLM 推理中的批处理大小与前缀同质性平衡。 Feather 集成 Chunked Hash Tree (CHT) 数据结构以加速前缀检测,集成到 vLLM 和 SGLang 后,端到端吞吐量比现有调度器高 2-10 倍。 在未共享前缀的工作负载下,Feather 性能不逊于现状,通过减少 KV cache 访问次数实现性能提升。
研究团队推出 LunaTP,通过节点中心化执行加速等变 MLIP 的核心 Clebsch-Gordan 张量积卷积。 基于 NVIDIA H100 GPU,LunaTP 内核速度较 e3nn 提升最高 250.0 倍,较 OpenEquivariance 提升 17.1 倍;端到端训练吞吐量分别提升最高 28.7 倍和 3.11 倍。
论文提出 VibeServe,这是首个端到端生成完整 LLM 服务系统的 agentic loop。该系统由规划和实现/评估内外双循环组成。在 Llama-3.1-8B 上,VibeServe 性能匹配 vLLM 和 SGLang;在 4 块 AMD MI300A 上运行 397B MoE 模型时,吞吐量达经过调优的 SGLang 的 2.3 倍。
智能体 ATTUNE 在 Llama-3.1-405B 和 GLM-4.5 上分别将吞吐量提高 6.7% 和 33.9%。 其调优在相同预算下优于 OptiCo 和贝叶斯优化,并在 1 天内收回 GPU 成本。 团队开源了 ATTUNE 代码及 TrainingThroughputBench 基准。
DTScribe 利用本地大语言模型自动化生成数字孪生报告所需的概念架构与描述模型。 系统基于 21 项特征框架提取细节,通过 Ontological Modeling Language 生成模型,并使用 LLM 评审与本体推理进行完善。 研究发现,约 200 亿参数的本地模型配合至少两轮推理循环,即可产出与更大模型相当的高质量结果。
FORGE 系统利用片上 Rotor Generation Unit 动态生成专家权重,取代了 HBM 中存储的完整张量。 每个投影仅需 $O(\log^2 d)$ 转子参数,用不足 1MB 种子近似 GB 级权重,显著降低显存带宽瓶颈。 在五类稀疏 MoE 模型中替换 30% FFN 层后,系统吞吐量提升 1.3-2.8 倍,KV cache 容量扩大 1.2-2.6 倍,但精度低于未替换模型。
LinMorph 提出将 Video DiT 线性化重构为可学习的 softmax 到线性权重转换问题,以解决现有方法中初始化的根本瓶颈。 该方法学习跨参数变形,使目标 Gated DeltaNet 参数从预训练的 query、key、value 和输出投影中联合汲取知识,而非复制预定义对应物。
研究证实轻量级调度策略可在不改模型架构下优化 LLM 服务性能。 团队在 L40S、A100 及 H100 上评估 8 种策略,涵盖 Qwen、Gemma 等模型。Aging shortest-prompt-first 为最优实用基线。
针对部署后的 Deepfake 语音检测器,提出一种基于内部嵌入的无监督数据漂移监测方法。 该方法利用正则化 Mahalanobis 距离,将输入划分为可信、模糊和未知区域,并在四个检测器上验证其能有效识别数据不匹配情况。
研究构建了基于硬件测量的地理分布式 LLM 推理模拟器,评估不同调度器在严格 SLO 下的碳减排效果。 测试了四种调度器,包括基于 MILP 的设施级调度方案。该方案在三种 LLM 下最多实现 60% 碳减排,SLO 违约率平均为 3%。 减排效果随电网碳强度空间分布差异增大而提升,随系统负载增加而下降,且依赖调度器获取负载更新的频率。
该方法根据延迟测量自适应决定树宽度,无需遍历参数,且已证明在贪心与采样解码下不改变目标输出分布。 代码已开源。
SlideDP 是一款同步数据并行运行时,实现了超越 GPU 显存的全参数 LLM 微调。在匹配批量基准测试中,其吞吐量较 SlideFormer 等基线提升 1.46-2.64 倍。
基于600条编码智能体轨迹分析表明,98.6%的输入token由前缀缓存提供,导致在接近理想缓存情况下,平均输入定价高估循环成本约7倍。 模型委托(delegation)在约半数评估场景中反而增加成本,接近理论预测边界;轮次数量解释了84%的轨迹成本方差,而平均观测大小仅解释4%。
提出VLCQ训练后量化方法,通过变长编码突破INT8定点约束,在图像分类等任务上实现比FP32最高6x压缩且精度反超。 在压缩优先场景下,VLCQ实现12.25x压缩,性能退化低于4%;per-tensor量化表现与DFQ相当,具备更低比特率灵活性。
BELT 提出了一种针对长上下文推理的低秩 KV 缓存压缩框架。通过优化注意力分布而非原始键值,BELT 实现了 70% 的 KV 缓存低秩压缩率。 在保持同等精度的同时,结合量化技术可提升 17.8 倍的 KV 缓存减少量。
summary_zh: 研究者提出自定义运维员(SDO),将经验蒸馏为 playbook 和 detector,仅当 detector 触发时调用 LLM。 在 11 个开源微服务应用中,SDO 将重复故障解决时间缩短 52%,且成本随事件数而非运行时间增长。
FlashMask-3 提出掩码感知的 Hopper 内核及分布式扩展,支持零通信掩码定位。 在 H100 上 4K-128K 上下文,其 TFLOPs 较 FlashMask 提升 45%-141%。 128 张 H100 训练 118B MoE 时,吞吐量较基线提升 7.3%-11.0%。
**补充细节**:M-MoE 在训练中系统改变激活专家数,引导模型学习有意义排序;经对比,按层随机化策略效果最佳,支持为不同模型层分配差异化的计算预算。 **意义**:该工作为大规模 MoE 模型更具实用性与适应性的部署奠定基础。
RadixFlow解耦前缀匹配与状态就绪,消除混合LLM调度中的执行气泡。 在五个混合模型上,该系统将平均延迟降低3%至24%,并减少11%至44%的worker rounds。
研究者提出多GPU训练框架DepBloom,通过时空分区等技术解决时序图神经网络训练依赖限制,在保持模型精度的前提下实现平均2.84倍加速。 该框架利用依赖在时间与图拓扑上的局部性,结合批内记忆细化与关键路径优化,将最大加速比提升至5.16倍。
SparPR 是一种无需修改模型权重或离线训练的运行时 KV 缓存恢复机制,专为解决消费级 GPU 内存带宽瓶颈设计。该机制结合查询感知的 Key 块选择、动态预算控制和按需局部重算,在 RTX 3070 Ti 等消费级硬件上将端到端延迟降低 31%-63%,吞吐量提升 1.4-2.7 倍,使 8k token 任务在 44 分钟内完成。
提出一种针对混合精度 LLM 服务的校准成本模型,解决平均位宽或内存预算作为速度代理指标导致的准确性缺失问题。该模型能根据执行阶段、批大小和上下文长度,识别计算、权重加载或 KV cache 访问中的瓶颈资源,从而准确预测服务延迟。在三种硬件类别中评估了该模型作为预测器的准确性,并将其与测量精度成本结合,通过动态规划在延迟或精度预算下分配配置。
LatentRemedy 通过引入任务条件潜在 token,解决多智能体系统中非前缀 KV 缓存复用导致的模型性能下降问题,避免最高 90% 的性能损失。 该方法利用 MLP 将目标前缀最后隐状态映射为少量潜在 token,置于复用 KV 块后以辅助上下文解读,并通过全预填充蒸馏训练 MLP 引导预测。
E8 晶格向量量化实现 2-bit 键与 2-bit 值(k2v2)低比特 KV-Cache 压缩,整体压缩比约 6 倍。 该方法在 5 个 LLM 模型族测试中,比标量 k3v2 方法小约 20%,且在 80% 的模型-数据集-上下文设置中困惑度更优,同时解码吞吐量与标量基线持平。 E8 晶格键量化成为长上下文 LLM 推理中扩展质量-内存边界的低开销基础工具。