跳到正文
11月9日周一
  1. arXiv · AI35

    TailSieve:基于部分回滚指导的长尾路由 LLM 回滚框架

    TailSieve 提出了一种基于部分回滚指导的框架,通过联合控制长尾路由和副本分配来优化 LLM 大规模回滚性能。 该框架利用部分回滚完成状态作为无训练信号识别长尾组,并采用分层控制器动态调整隔离组数量与副本分配。 实验显示,仅使用路由可实现最高 1.67 倍加速,结合推测解码后加速比达 2.59 倍。

  2. arXiv · ML33

    自适应调度流水线:用于多实例异步强化学习的大语言模型离线 Rollout 调度器

    自适应调度流水线(ASP)作为离线 rollout 调度器,通过单次预处理将端到端吞吐量提升 3.22 倍,迭代时间最多降低 76.8%。 相比 MindSpeed-RL 和 verl,ASP 更有效地克服了单实例推理的早期扩展瓶颈,并在有界策略滞后下保持收敛无退化。 该调度器已在电信领域 RL 后训练工作流中应用,将训练周期从 3 个月以上缩短至约 2 个月。

  3. arXiv · ML26

    CascadeRec:多租户内容推荐中已部署的自适应 LLM 算力分配系统

    CascadeRec 双层 LLM 重排序级联系统已在生产环境中运行超过一个月,推理成本降低约 10%,且未观察到质量回退。该系统仅在路由器判断额外推理算力有益时,将请求升级至更昂贵的 Tier-2 流程。 在公开基准测试中,均匀 LLM 重排序使稀疏历史用户的 NDCG@10 最多降低 30%,且仅在最长期历史的细分组中表现出统计显著收益。

  4. arXiv · AI31

    Scout Before You Route: 利用小型 LLM Prefill 预测任务成功率与 Token 数量

    该方法通过单一小型冻结 LLM 的 prefill activations 预测候选模型的成功率与输出长度,显著降低推理成本。 在 8/9 个数据集上,相比中位长度定价,该预测方法在匹配准确率下节省 9-33% 成本,最高可达完美信息节省量的 69%。 输出长度主要取决于问题难度,20 个标注问题即可保持大部分节省效果,且 scout 规模超过 2B 后节省不再增加。

  5. arXiv · ML31

    MINE:面向大语言模型的高效内存推理引擎

    MINE提出无损熵编码方案,通过利用权重非均匀分布加速LLM单流推理。核心为适配GPU的dtANS-LLM编码器,可自动调优以平衡压缩率与解码延迟。 集成至vLLM作为插件,在Llama 3.1 8B Instruct模型上,RTX 4060 Ti实现2.52倍加速,RTX 5090实现1.48倍加速。项目已开源,旨在解决本地部署中因内存瓶颈导致的低延迟请求难题。

  6. arXiv · ML30

    百亿参数神经网络中的涌现低维拓扑动力学如何决定泛化与逃逸机制

    研究证实百亿参数模型的优化轨迹被约束在有效维数 $d_{\text{eff}} \le 12$ 的低维执行子流形上。 该工作推导了基于持续同调的拓扑泛化界限,并验证了 Top-SGD 算法在 ImageNet 上将训练时间减少 14.1%。 代码已公开,为理解过参数化神经网络的泛化能力提供了严格的数学解释。

  7. arXiv · NLP21

    BitDecoding-FP4:通过算法系统协同设计实现原生 FP4 KV Cache 解码

    提出 BitDecoding-FP4,实现原生 FP4 KV Cache 解码,Qwen3-4B 等模型在 B300 上吞吐量提升 2.4-3.0 倍。 通过双残差量化、概率缩放及异常值感知量化降低误差,精度保持在 BF16 的 0.5 点以内,支持 Qwen3 等模型及 NVFP4 格式。 代码已开源,适用于稠密与 MoE 模型的长上下文 LLM 服务场景。

  8. arXiv · NLP20

    CodeQuant2: 面向低精度大推理模型的异常值抑制与自适应聚类

    CodeQuant2 提出了一种基于聚类的查找表(LUT)量化框架,旨在解决低精度大推理模型(LRMs)的量化挑战。 该框架通过旋转和缩放缓解激活异常值,利用聚类表示非均匀权重分布,并根据量化难度自适应调整代码本大小,同时结合定制的 LUT CUDA 内核。 在推理基准测试中,CodeQuant2 带来了显著的精度提升,并实现了相对于 BF16 高达 2.85 倍的加速。

11月7日周六
  1. AWS Machine Learning Blog38

    在 Amazon ECS Fargate 上构建支持 AI 智能体访问数据湖的无服务器 MCP 服务器

    亚马逊支持团队在 Amazon ECS Fargate 上构建无服务器 MCP 服务器,作为 AI 智能体访问企业数据湖的中央网关,解决多智能体重复开发权限控制的问题。 该架构采用元数据驱动模式,新增数据源仅需提供 JSON 文件即可自动接入,无需编写定制代码,支持多租户环境下不同 MCP 客户端共享同一工具接口。

11月6日周五
  1. arXiv · AI28

    ReGuard 框架用于基于 RL 的网络控制器最坏情况发现与运行时保护

    ReGuard 框架通过在推理时介入保护,无需重训即可发现并缓解基于 RL 的网络控制器在最坏情况下的性能退化。 该框架将场景发现形式化为双层遗憾最大化问题,在 Pensieve、Sage 和 Park 三个控制器上发现 43-64% 的性能损失。 ReGuard 通过轻量级逻辑规则介入高风险状态,在首次迭代中缩小 79-85% 的性能差距,其保护作用可延伸至更广泛的网络条件。

  2. arXiv · ML41

    KV 缓存量化下的对齐崩塌:诊断与缓解

    KV 缓存量化在降低显存的同时可能破坏 LLM 的安全对齐,Mistral-7B 在仅 1.03 倍困惑度损失下失去 15.2% 拒绝能力。 研究提出 Per-Channel Reduction 诊断方法,揭示了安全特征在低维激活子空间中易受量化噪声影响的几何根源。 该无训练协议只需约 35 GPU 分钟,即可在 vLLM 生产环境中恢复高达 97% 的丢失对齐。

  3. arXiv · ML30

    KVBuffer:线性注意力IO感知服务机制

    针对线性注意力长上下文推理中状态更新导致的内存访问瓶颈,提出IO感知服务机制KVBuffer。该机制通过缓存键值对实现批量解码、并行验证投机解码及短上下文直接计算。 KVBuffer已在SGLang中实现,支持Qwen3.5和Nemotron-3系列模型,使批量解码速度提升最高1.47倍,投机解码最大服务请求量增加5倍。

  4. arXiv · ML22

    TACT-KV:用于压缩医疗 VLM 三维 KV 缓存的三轴余弦变换

    TACT-KV 提出无校准的三轴余弦变换方法,压缩 3D 医疗扫描产生的海量视觉 token KV 缓存,消除结构内存墙。 方法对 KV 缓存执行可分离 3D DCT,通过逆向注水法分配比特预算并量化,6 个医疗 VLM 和 2 个 3D CT 基准中 12 个组合里 11 个取得最低 1-bit 预测翻转率。 在单 GPU 上,相同 HBM 限制下将解码批处理规模提升最高 8 倍。

  5. arXiv · AI20

    类型化决策编码器 Ru-Jev 中标签措辞增强的增益:生词有效,缩写与代码无效

    307M 参数多语言交叉编码器 Ru-Jev 后续版本增加标签表面形式增强,在普通词和外来词路由任务中准确率最高提升 0.24。 在缩写和晦涩代码场景下无可用增益,且部分指标随候选数增加出现置信错误上升。 模型在未见数据集上准确率变化为 -8.4 和 +5.6 个点,验证了增强对非熟悉词汇的鲁棒性。

  6. arXiv · AI28

    小型软件公司混合部署自托管 AI 与商业智能体的实践

    小型软件公司 Grayhat Developers 采用混合架构部署 AI,本地开源模型处理低复杂度任务,商业智能体负责复杂任务。 原每月约 $325 的商业 AI 成本涉及超 25.93 亿 token,约 30-40% 的工作量属于协调类任务。 迁移协调任务至本地模型后,预计可减少 27-36% 的整体商业 AI 使用量,集中配置的部署方式显著提升了采纳率。