跳到正文
10月15日周四
  1. arXiv · ML23

    基于图分析的隐私 Transformer 推理中的可比性、规模与归因研究

    该研究构建了包含62个隐私 Transformer 推理(PTI)系统的经验图,通过三层分析揭示系统可比性与扩展瓶颈。 节点级归因显示密码学进展驱动性能提升但伴随模型保真度等因素;边级审计表明1891个候选系统对中仅1对可直接比较。图级分析指出隐私推理扩展前沿停滞在13B参数,并预测生产级部署成本。

  2. arXiv · ML29

    通过并行化扩展 LLM 推理:吞吐量与延迟的权衡

    该论文提出基于吞吐量-延迟权衡的系统框架,用于优化 LLM 推理中的并行化配置。 通过构建 TTFT-ITL 可行集与帕累托前沿,揭示了随工作负载中 prefill 占比增加,最优配置从 TP 主导转向 PP 主导的规律。 框架引入 goodput 指标实现 SLO 感知的并行化选择,并证实长上下文场景下 PP 主导配置具备更优的可扩展性与 SLO 达成率。

  3. arXiv · ML21

    PolyNet:一种无需训练的神经流体模拟方法

    PolyNet 将多项式动力学神经表征与循环网络结合,用于已知系数下的离散时间积分。在 KdV 方程测试中,PolyNet 精度与有限差分 Runge-Kutta 解算器相当,即使振幅超出训练条件也保持有效。 该方法在 GPU 上实现高吞吐量,且性能在所测分辨率范围内近似恒定,支持最多 10^4 条轨迹的并行模拟。

  4. arXiv · NLP35

    Delta Tokenizer 实现会话增量分词与长提示分块并行,基于 SGLang 降低 TTFT

    Delta Tokenizer 实现仅对新增文本分词,相比 Hugging Face 基准模型将单次会话分词速度提升约 40 倍。 其分块并行路径在 16 核 CPU 上处理四百万字符请求时,比串行编码快 8.2 倍,比 LoPT 快 1.6-2.1 倍。 在 SGLang 中,该方法将 100K 令牌请求的 P99 TTFT 降低 23 倍,且输出与参考编码完全一致。

  5. arXiv · NLP35

    Joint Subspace Sparse Attention (JSSA) 实现 128K 上下文下 6.43 倍解码加速

    JSSA 通过联合子空间稀疏注意力,在 128K 上下文下实现 6.43 倍解码吞吐量提升。 该方法学习共享低维子空间优化排序,并开发无 gather 的 token 级索引注意力内核,支持 GQA 布局。 JSSA 在标准 GQA、混合注意力及 MLA 模型上保持接近全量 KV 精度,700B 规模下达 96-99% 吞吐量。

10月14日周三
  1. 硅基流动30

    岚图汽车联合硅基流动部署私有化网关,统一调度多供应商大模型

    岚图汽车部署硅基流动私有化大模型服务网关,构建统一调度管理平台。新模型接入时间从一周缩短至一天,模型升级实现全程不停服。 该网关屏蔽供应商接口差异,统一管理密钥与RPM、TPM配额。支持权重分流、故障降级及灰度发布,统一监控TTFT等指标。 此举解决了分散接入带来的适配与安全难题,为后续多智能体协同提供基础。

  2. arXiv · AI46

    Purlin:将集合通信的编排与数据路径分离

    Purlin 提出了一种将集合通信的语义、编排和数据路径分离的 scale-up 通信框架。 其核心包括基于输入输出布局的集合定义、共享的 SNAC 编排协议以及硬件相关的 Atom 数据路径。 在 A100、H200 和 B200 GPU 上,Purlin 实现了最高 5.14 倍延迟加速和 4.50 倍带宽提升,集成 SGLang 后显著提高了 LLM 服务吞吐量与交互性。

  3. arXiv · ML34

    Koa-decision:基于生成式LLM的快速且一致的结构化决策框架

    Koa-decision 将分类等原子动作转化为单 token 输出的约束生成,通过引入原子标签 token 并应用监督微调,实现低延迟确定性解码。在意图路由基准测试中达到 85.5% 准确率,响应时间约半秒,比最前线模型快最多 7.5 倍。该框架支持多模态输入和多标签输出,填补了现有系统在此类任务上的空白。

  4. arXiv · ML33

    Feather:基于强化学习的 LLM 推理前缀感知调度器

    该研究提出前缀感知调度器 Feather,利用强化学习(RL)优化 LLM 推理中的批处理大小与前缀同质性平衡。 Feather 集成 Chunked Hash Tree (CHT) 数据结构以加速前缀检测,集成到 vLLM 和 SGLang 后,端到端吞吐量比现有调度器高 2-10 倍。 在未共享前缀的工作负载下,Feather 性能不逊于现状,通过减少 KV cache 访问次数实现性能提升。

  5. arXiv · AI20

    DTScribe:利用本地大语言模型生成数字孪生报告模型

    DTScribe 利用本地大语言模型自动化生成数字孪生报告所需的概念架构与描述模型。 系统基于 21 项特征框架提取细节,通过 Ontological Modeling Language 生成模型,并使用 LLM 评审与本体推理进行完善。 研究发现,约 200 亿参数的本地模型配合至少两轮推理循环,即可产出与更大模型相当的高质量结果。

  6. arXiv · ML30

    FORGE 通过程序化权重生成提升稀疏 MoE 推理效率

    FORGE 系统利用片上 Rotor Generation Unit 动态生成专家权重,取代了 HBM 中存储的完整张量。 每个投影仅需 $O(\log^2 d)$ 转子参数,用不足 1MB 种子近似 GB 级权重,显著降低显存带宽瓶颈。 在五类稀疏 MoE 模型中替换 30% FFN 层后,系统吞吐量提升 1.3-2.8 倍,KV cache 容量扩大 1.2-2.6 倍,但精度低于未替换模型。

  7. arXiv · ML26

    解析地理分布式 LLM 服务中碳 SLO 的矛盾

    研究构建了基于硬件测量的地理分布式 LLM 推理模拟器,评估不同调度器在严格 SLO 下的碳减排效果。 测试了四种调度器,包括基于 MILP 的设施级调度方案。该方案在三种 LLM 下最多实现 60% 碳减排,SLO 违约率平均为 3%。 减排效果随电网碳强度空间分布差异增大而提升,随系统负载增加而下降,且依赖调度器获取负载更新的频率。

  8. arXiv · AI38

    TurnCost: 面向编码智能体的缓存感知循环工程:关注轮次而非观测值

    基于600条编码智能体轨迹分析表明,98.6%的输入token由前缀缓存提供,导致在接近理想缓存情况下,平均输入定价高估循环成本约7倍。 模型委托(delegation)在约半数评估场景中反而增加成本,接近理论预测边界;轮次数量解释了84%的轨迹成本方差,而平均观测大小仅解释4%。

  9. arXiv · NLP28

    **核心事实**:该研究提出 Matryoshka MoE(M-MoE)训练框架,通过向专家组嵌入由粗到细结构,使单一 MoE 模型在改变激活专家数量时表现可匹敌多个专用模型,而总训练成本显著降低。

    **补充细节**:M-MoE 在训练中系统改变激活专家数,引导模型学习有意义排序;经对比,按层随机化策略效果最佳,支持为不同模型层分配差异化的计算预算。 **意义**:该工作为大规模 MoE 模型更具实用性与适应性的部署奠定基础。

  10. arXiv · NLP31

    SparPR:面向消费级硬件资源受限 LLM 推理的运行时 KV 缓存恢复机制

    SparPR 是一种无需修改模型权重或离线训练的运行时 KV 缓存恢复机制,专为解决消费级 GPU 内存带宽瓶颈设计。该机制结合查询感知的 Key 块选择、动态预算控制和按需局部重算,在 RTX 3070 Ti 等消费级硬件上将端到端延迟降低 31%-63%,吞吐量提升 1.4-2.7 倍,使 8k token 任务在 44 分钟内完成。

  11. arXiv · ML23

    The Price of Precision: A Calibrated Cost Model for Mixed-Precision LLM Serving

    提出一种针对混合精度 LLM 服务的校准成本模型,解决平均位宽或内存预算作为速度代理指标导致的准确性缺失问题。该模型能根据执行阶段、批大小和上下文长度,识别计算、权重加载或 KV cache 访问中的瓶颈资源,从而准确预测服务延迟。在三种硬件类别中评估了该模型作为预测器的准确性,并将其与测量精度成本结合,通过动态规划在延迟或精度预算下分配配置。

  12. arXiv · NLP26

    LatentRemedy 解决多智能体系统中非前缀 KV 缓存复用性能下降问题

    LatentRemedy 通过引入任务条件潜在 token,解决多智能体系统中非前缀 KV 缓存复用导致的模型性能下降问题,避免最高 90% 的性能损失。 该方法利用 MLP 将目标前缀最后隐状态映射为少量潜在 token,置于复用 KV 块后以辅助上下文解读,并通过全预填充蒸馏训练 MLP 引导预测。

  13. arXiv · ML28

    E8 晶格向量量化用于低比特 KV-Cache 压缩

    E8 晶格向量量化实现 2-bit 键与 2-bit 值(k2v2)低比特 KV-Cache 压缩,整体压缩比约 6 倍。 该方法在 5 个 LLM 模型族测试中,比标量 k3v2 方法小约 20%,且在 80% 的模型-数据集-上下文设置中困惑度更优,同时解码吞吐量与标量基线持平。 E8 晶格键量化成为长上下文 LLM 推理中扩展质量-内存边界的低开销基础工具。